机器学习中的样本不平衡问题

样本不平衡时，如果简单采用准确率来评估模型，比如正负比例为1：99，那么只要简单的把所有样本都判定为负类，准确率都可以达到99%。这显然不合理。有时对少数类错分情况的后果很严重，比如癌症患者被误诊为健康人。所以需要的分类器应该是在不严重损失多数类精度的情况下，在少数类上获得尽可能高的精度。一般对于样本不平衡问题，有两类解决办法。

• 数据层面

过采样（over-sampling）

直接从少数类样本里随机重复抽取样本（有放回），构成采样集；然后并入原来的数据集。

这种方法虽然均衡了样本，但是增加模型训练的复杂度，因此容易造成过拟合。

欠采样（under-sampling）

从多数类样本集合随机抽取一部分样本，其余部分不用。

欠采样丢弃样本，造成信息损失，使得模型不能很好学习整体分布。

SMOTE过采样

对于少数类样本的每一个样本x，从它在少数类样本空间中K近邻集合里随机选取一个样本y，然后在x,y的连线上随机选取一个点作为新样本。这种方法相较于基础的过采样法，可以有效降低过拟合。

Informed Undersampling

easy ensemble：并联方式：为了解决欠采样的信息丢失问题，可以借鉴bagging的思路，每次从多数类随机选取一个子集，和少数类一起训练模型。重复上述过程，可以得到多个分类器，然后对结果融合。

balance cascade：串联方式：每一级中从多数类中随机抽取子集，然后和少数类一起训练一个分类器；把子集中能正确被上一级模型正确分类的样本去掉，继续和少数类一起训练另外一个分类器，不断进行下去。最后结果为各级预测结果的融合。

• 算法层面

代价敏感学习

代价敏感学习中不同类错分的损失给定不同权重。

比如在支持向量机中，C是负责惩罚错误分类数据的超参数。解决数据类别不平衡的一个方法就是使用基于类别增加权重的C值：

Cj=C∗wj

其中，C是误分类的惩罚项，wj是与类别 j 的出现频率成反比的权重参数，Cj 就是类别 j 对应的加权C值。主要思路就是增大误分类少数类别带来的影响，保证少数类别的分类正确性，避免被多数类别掩盖。

单类学习

单类支持向量机算法(One-Class SVM)是对支持向量机算法的扩展，基本思想是利用估计目标类样本在特征空间的密度分布，对未知的样本做出“是”或者“非”的判断。根据单类样本提供的信息，找到类似的目标样本，而对非目标的其它样本作为一个整体考虑，这样就避免了复杂的样本采样以及需要对背景信息进行完整描述的问题。