python 过采样算法_欠采样（undersampling）和过采样（oversampling）会对模型带来怎样的影响？...

1. 为什么类别不平衡会影响模型输出？

大部分模型的默认阈值为输出值的中位数。比如逻辑回归的输出范围为[0,1]，当某个样本的输出大于0.5就会被划分为正例，反之为反例。在数据的类别不平衡时，采用默认的分类阈值可能会导致输出全部为反例，产生虚假的高准确度，导致分类失败。因此很多答主提到了几点：1. 可以选择调整阈值，使得模型对于较少的类别更为敏感 2. 选择合适的评估标准，比如ROC或者F1，而不是准确度(accuracy)。举个简单的例子，Sklearn的决策树有一个参数是class_weight，就是用来调整分类阈值的，文档中的公式：

# 权重与样本数中每个类别的数量为负相关，越少见的类别权重越大

n_samples / (n_classes * np.bincount(y))

所以遇到不平衡数据，用集成学习+阈值调整可以作为第一步尝试。

2. 采样法和类别不平衡有什么关系？

而通过采样(sampling)来调整数据的不平衡，是另一种解决途径，并且可以和阈值调整同时使用。但采样法不是单纯的从数据角度改变了模型阈值，还改变了模型优化收敛等一系列过程，在此不赘述。

而采样法最受人诟病的就是可能会改变原始数据的分布，从而带来偏差。这个说法是否正确呢？让我们带着疑问来分析一下不同的采样方法有什么区别，该怎么使用。有鉴于总被人批评答题公式太多，今天就以可视化和实验为主。

3. 如何直观理解采样法？

我们使用的第一个实验数据是Cardio(Cardiotocogrpahy dataset)，原始数据大小为

：也就是1831条数据，每条数据有21个特征。其中正例176个(9.6122%)，反例1655个(90.3878%)，属于典型的类别不平衡问题。

先来看一张可视化图，因为原始数据是21维不易展示，所以我们使用T-SNE把数据嵌入到2维空间。图中红色代表正例，蓝色代表反例(建议在电脑端阅读)。数据重叠会加深颜色，甚至造成颜色混合。左上、左下、右上和右下依次是：原始数据(Original)：未经过任何采样处理(

)

欠采样(Undersampling)：从反例中随机选择176个数据，与正例合并(

)

过采样(Oversampling)：从正例中反复抽取并生成1655个数据(势必会重复)，并与反例合并(

)

SMOTE：也是一种过采样方法。SMOTE通过找到正例中数据的近邻，来合成新的1655-176=1479个“新正例”，并与原始数据合并(

)。此处应注意SMOTE并不是简单的重复，而是一种基于原始数据的生成。另外一个相似的算法是ADASYN，此处省略。不同采样方法在2维空间上的展示(使用T-SNE进行嵌入到2维空间后)

所以可以很直观地从图中看出:

1.过采样(右上)只是单纯的重复了正例，因此会过分强调已有的正例。如果其中部分点标记错误或者是噪音，那么错误也容易被成倍的放大。因此最大的风险就是对正例过拟合。

2. 欠采样(左下)抛弃了大部分反例数据，从而弱化了中间部分反例的影响，可能会造成偏差很大的模型。当然，如果数据不平衡但两个类别基数都很大，或许影响不大。同时，数据总是宝贵的，抛弃数据是很奢侈的，因此另一种常见的做法是反复做欠采样，生成

个新的子样本。其中每个样本的正例都使用这176个数据，而反例则从1655个数据中不重复采样。最终对这9个样本分别训练，并集成结果。这样数据达到了有效利用，但也存在风险：训练多个模型造成了过大的开销，合并模型结果需要额外步骤，有可能造成其他错误

正例被反复使用，和过采样一样，很容易造成模型的过拟合

3. SMOTE(右下)可以看出和过采样(右上)有了明显的不同，因为不单纯是重复正例了，而是在局部区域通过K-近邻生成了新的正例。相较于简单的过采样， SMOTE：降低了过拟合风险。K近邻在局部合成数据可以被理解为一种集成学习，降低了方差。但或许也错误的加强了局部的偶然性，从而增加了过拟合风险。但一般来看，优点大于风险

也可以理解为一种过采样的soft version，对于噪音的抵抗性更强

缺点也有，比如运算开销加大，同时可能会生成一些“可疑的点”，如下图所示

4. 采样法归纳总结

让我们把实验所中归纳出的经验性性质总结一下，实验细节和结果在文末：采样方法一般比直接调整阈值的效果要好。

使用采样方法(过采样和欠采样)一般可以提升模型的泛化能力，但有一定的过拟合的风险，应搭配使用正则化模型

过采样的结果较为稳定，作为一种升级版的过采样，SMOTE也是不错的处理方式，大部分时候和过采样的效果相似

过采样大部分时候比欠采样的效果好，但很难一概而论哪种方法最好，还是需要根据数据的特性(如分布)具体讨论

实验结果在(L2正则的逻辑回归、随机森林、xgboost)一致，因此和采样法搭配使用的模型最好可以很好的处理过拟合

但是不是过采样就是万能药？未必。首先，它不可避免的带来更大的运算开销，其次当数据中噪音过大时，结果反而可能会更差因为噪音也被重复使用。当然，除此以外还有更严谨的统计学理论说明采样的力量，以及如何正确采样，此处按下不表。我的一个不成熟的经验是：使用过采样(或SMOTE)+强正则模型(如XGBoost)可能比较适合不平衡的数据。拿到一个新的数据时，可以不妨直接先试试这个方法，作为基准(Baseline)。

多说两句的话，很多方法都可以结合起来，比如过采样和欠采样是可以结合起来的。一个比较成熟的算法就是用SMOTE过采样，再利用Tomek's link再控制新的样本空间。有兴趣的朋友可以移步4. Combination of over- and under-sampling，这个例子的作者开发了imbalanced-learn(Welcome to imbalanced-learn documentation!)，是一个Python上处理数据不平衡的工具库，这个答案中的实验代码都是基于这个工具库。

实验细节：从实际的模型表现上进行一个对比此处我们默认使用了逻辑回归(L2正则化)，同时使用随机森林进行了验证，结果相似。因为节省空间略去。

我们使用了10折交叉验证，评估标准是F1(

)和ROC曲线下的面积

我们评估了 (1) 原始数据 (2) 阈值偏移 (3) 过采样 (4) 欠采样 (5) 构建多个欠采样样本集成 (6) SMOTE的结果。

共使用了5个数据集，具体结果如下：

Data: cardio | shape: (1831, 21) | F1

Threshold Moving: 0.829987896832

Original: 0.805920420913

Oversampling: 0.963759891658

Undersampling: 0.938725868726

Undersampling Ensemble: 0.821234363304

SMOTE: 0.971714100029

Data: cardio | shape: (1831, 21) | ROC

Threshold Moving: 0.992879432167

Original: 0.991171853188

Oversampling: 0.992246339935

Undersampling: 0.992405698663

Undersampling Ensemble: 0.992896183665

SMOTE: 0.993895382919

Data: letter | shape: (1600, 32) | F1

Threshold Moving: 0.257964355223

Original: 0.2322000222

Oversampling: 0.80419404639

Undersampling: 0.762522610875

Undersampling Ensemble: 0.265496694535

SMOTE: 0.94066718832

Data: letter | shape: (1600, 32) | ROC

Threshold Moving: 0.778733333333

Original: 0.775133333333

Oversampling: 0.853071111111

Undersampling: 0.798

Undersampling Ensemble: 0.7762

SMOTE: 0.961724444444

Data: mnist | shape: (7603, 100) | F1

Threshold Moving: 0.809942609314

Original: 0.843460421197

Oversampling: 0.963745254804

Undersampling: 0.939662842407

Undersampling Ensemble: 0.795183545913

SMOTE: 0.972652248517

Data: mnist | shape: (7603, 100) | ROC

Threshold Moving: 0.985425233631

Original: 0.985211857272

Oversampling: 0.991881775625

Undersampling: 0.976346938776

Undersampling Ensemble: 0.977791067047

SMOTE: 0.99455044033

Data: ionosphere | shape: (351, 33) | F1

Threshold Moving: 0.755263843708

Original: 0.77205596336

Oversampling: 0.858191681928

Undersampling: 0.787040254432

Undersampling Ensemble: 0.757907605743

SMOTE: 0.849245387823

Data: ionosphere | shape: (351, 33) | ROC

Threshold Moving: 0.8816344887

Original: 0.88384133982

Oversampling: 0.946363011452

Undersampling: 0.881254109139

Undersampling Ensemble: 0.87103349549

SMOTE: 0.953137058851

Data: pima | shape: (768, 8) | F1

Threshold Moving: 0.684815686152

Original: 0.614437063812

Oversampling: 0.744106797407

Undersampling: 0.762079698321

Undersampling Ensemble: 0.667769584397

SMOTE: 0.749990784595

Data: pima | shape: (768, 8) | ROC

Threshold Moving: 0.824891737892

Original: 0.824757834758

Oversampling: 0.83276

Undersampling: 0.825577308626

Undersampling Ensemble: 0.82011965812

SMOTE: 0.84188