对类别不平衡问题的解决方法

基本概念

类别不平衡：分类任务中不同类别的训练样例数目差别很大，会对学习过程造成困扰。

假定正类样例少，反类样例多。

解决方法

一、再缩放
在logstic回归分类模型中，输出的y值实际上与一个阈值进行比较，当y>0.5时，判断为正例，否则为反例。由于y>0,所以y实际上表示的是预测结果为正例的可能性。
1.当正反例个数相同时：

$$若\frac{y}{1-y} >1，则判断为正例。反之为反例；$$
2.当正反例个数不同，正例m^+，反例m^-，观测几率： $\frac {m^+}{m^-}$，设训练集是真实样本中的无偏采样（训练集的类别比例=真实样本总体类别比例），则： $$若\frac{y}{1-y} >\frac {m^+}{m^-} ，则预测为正例。$$
对预测值进行调整：
$$\frac{y’}{1-y’}=\frac{y}{1-y} *\frac {m^+}{m^-} >1········@，则预测为正例$$
实际上训练集无法做到无偏采样。。。因此无法基于观测几率来推出真实几率，常用的技术有三类：

欠采样
除去一些反例，使得正反例的数目相同
过采样
增加一些正例数目，使得两类的数目相同
阈值移动
基于原始训练集进行学习，但用训练好的分类器进行学习的时候，将公式@嵌入到决策过程中。

三类技术特点：
+欠采样开销小于过采样；
+过采样不能简单的对初始样本重复采样，易导致过拟合现象；
+过采样代表性算法SMOTE；欠采样代表算法EasyEnsemble