机器学习系列手记（八）：采样之不均衡样本集的重采样

采样

不均衡样本集的重采样

      在训练二分类模型时，例如医疗诊断、网络入侵检测、信用卡反欺诈等，经常会遇到正负样本不均衡的问题。对于很多分类算法，如果直接采用不均衡的样本集来进行学习，会存在一些问题。例如，如果正负样本比例达到1:99，则分类器简单的将所有样本都判为负样本就能达到99%的正确率，显然这不是我们想要的，我们想让分类器在正样本和负样本上有足够的准确率和召回率。
      为什么很多分类模型在训练数据不均衡时会出现问题呢？本质是人们在训练时优化的目标函数和测试时使用的评价标准不一致。这种不一致可能是由于训练数据的样本分布与测试时期望的样本分布不一致，例如，在训练时优化的是整个训练集（正负样本比例可能是1:99）的正确率，而测试时可能想要模型在正样本和负样本上的平均正确率尽可能大（实际上是期望正负样本比例为1:1）；也可能由于训练阶段不同类别的权重（重要性）与测试阶段不一致，例如训练时认为所有样本的贡献是相等的，而测试时假样本和伪阴性样本有着不同的代价。
      根据上述分析，一般可以从两个角度来处理样本不均衡问题。

1、基于数据的方法

      对数据进行重采样，使原本不均衡的样本变得均衡起来。首先，记样本数大的类别为 $C_{max}$，样本数小的类别为 $C_{min}$，它们对应的样本集分别为 $S_{max}$ 和 S m i n S_{min}