正负比例不均匀-机器学习

在机器学习模型构建的时候，我们往往会遇到数据样本正负比例极其不平衡的情况，例如在征信模型或者判断客户购买商品是否使用分期时，往往正负样本比达到10:1，这样会造成许多实际问题。

样本不均衡会导致：对比例大的样本造成过拟合，也就是说预测偏向样本数较多的分类。这样就会大大降低模型的范化能力。往往accuracy（准确率）很高，但auc很低。

解决办法：

1.上采样（过采样）：

增加样本数较少的样本，其方式是直接复制原来的样本。样本较少时采用。

随机过采样

与欠采样对应，增加少数类样本数量最简单的方法便是随机复制少数类样本，可以事先设置多数类与少数类最终的数量比例ratio，在保留多数类样本不变的情况下，根据ratio随机复制少数类样本。

在使用的过程中为了保证所有的少数类样本信息都会被包含，可以先完全复制一份全量的少数类样本，再随机复制少数类样本使得数量比例满足给定的ratio。

• 优点：操作简单，只依赖于样本分布，不依赖于任何距离信息，属于非启发式方法。

• 缺点：重复样本过多，容易造成分类器的过拟合。

2.下采样（欠采样）：

减少样本数较多的样本，其方式是丢弃这些多余的样本。样本较多时采用。

（1）随机欠采样

减少多数类样本数量最简单的方法便是随机剔除多数类样本，可以事先设置多数类与少数类最终的数量比例ratio，在保留少数类样本不变的情况下，根据ratio随机选择多数类样本。

• 优点：操作简单，只依赖于样本分布，不依赖于任何距离信息，属于非启发式方法。

• 缺点：会丢失一部分多数类样本的信息，无法充分利用已有信息。

实际情况下，上采样用的更多一些。

3.合成样本：

增加样本数目较少的那一类的样本，合成指的是通过组合已有的样本的各个 feature 从而产生新的样本。

一种最简单的方法就是从各个 feature 中随机选出一个已有值，然后拼接成一个新的样本，这种方法增加了样本数目较少的类别的样本数，作用与上面提到的上采样方法一样，不同点在于上面的方法是单纯的复制样本，而这里则是拼接得到新的样本。这类方法中的具有代表性的方法是 SMOTE（Synthetic Minority Over-sampling Technique），这个方法通过在相似样本中进行 feature 的随机选择并拼接出新的样本。

4.改变样本权重：

增大样本数较少类别的样本的权重，当这样的样本被误分时，其损失值要乘上相应的权重，从而让分类器更加关注这一类数目较少的样本。