wyl2289-CSDN博客

转载 Somte算法和Python代码实现

SMOTE全称是Synthetic Minority Oversampling Technique，即合成少数类过采样技术。它是基于随机过采样算法的一种改进方案。由于随机过采样采取简单复制样本的策略来增加少数类样本，这样容易产生模型过拟合的问题，即使得模型学习到的信息过于特别(Specific)而不够泛化(General)。SMOTE算法的基本思想是对少数类样本进行分析并根据少数类样本...

2018-09-11 13:36:06 2949 1

原创 ROC记忆小技巧

一张图搞定，准确率就是分类出来的，有多少是正确的，召回率就是在潜在的，是否都找出来了，F值就是2PR/(P+R)。ROC曲线就是基于上面的概念实现的，纵坐标是TPR，就是recall，横坐标是FPR，记忆上有个小技巧，recall = TP/(TP+FN)，横坐标是FPR就是把recall的T和F都反一下，FPR=FP/(FP+TN)。然后将分类结果，按照概率的大小进行排序，先假设分类...

2018-09-10 16:07:53 253

原创 Python WOE的使用

这个WOE包是在做评分卡的时候从网上找到的，最新的为0.1.4版本，地址如下：https://pypi.org/project/woe/#fileswoe模块实现：输入中会指名变量作为离散值还是连续值进行IV计算。针对离散值，将每个值作为一个分组，计算个分组woe值，再计算IV值针对连续值：计算将整体数据作为一个分组的IV值（命名为IV0）。对所有值排序，根据最大，最小值平均...

2018-09-07 15:26:14 10726 1

原创 WOE、VI及Python代码实现

IV的全称是Information Value，中文意思是信息价值，或者信息量。我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？挑选入模变量过程是个比较复杂的过...

2018-08-24 10:57:20 9469 4

原创使用卡方检验进行自动化分箱(计算卡方统计量代码)

从结果来看，还需要人工进行调整，但是结论还是蛮有趣的。比如说按年龄分箱，会把某一个年龄作为一个区间，而这个年龄的逾期情况确实较高，人工操作是不会这么考虑的。# -*- coding: utf-8 -*-"""@author: jiangdawei1"""import pandas as pdimport numpy as npfrom scipy.stats import c...

2018-08-23 15:05:29 3699 4

转载生成模型与判别模型

生成方法由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)=P(X,Y)/P(X)作为预测的模型。典型的生成模型有：朴素贝叶斯法、马尔科夫模型、高斯混合模型。判别方法由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。判别方法关心的是对给定的输入X，应该预测什么样的输出Y。...

2018-08-23 14:58:39 176

转载查询语句中select from where group by having order by的执行顺序

1.查询中用到的关键词主要包含六个，并且他们的顺序依次为 select--from--where--group by--having--order by 其中select和from是必须的，其他关键词是可选的，这六个关键词的执行顺序与sql语句的书写顺序并不是一样的，而是按照下面的顺序来执行 from--where--group by--having--se

2017-04-05 15:54:39 520

wyl2289的博客