解决不平衡数据集问题

解决不平衡数据集问题

数据不平衡通常反映数据集中类的不均匀分布。例如，在信用卡欺诈检测数据集中，大多数信用卡交易都不是欺诈，只有很少的类是欺诈交易。这使得我们在欺诈类和非欺诈类之间的比例约为50:1。

迄今为止 , 解决不平衡分类问题的策略可以分 为两大类 .一类是从训练集入手 , 通过改变训练集样本分布 ,降低不平衡程度 .另一类是从学习算法入手 , 根据算法在解决不平衡问题时的缺陷 , 适当地修改算法使之适应不平衡分类问题 .平衡训练集的方法主要有训练集重采样 (re-sampling)方法和训练集划分方法 .学习算法层面的策略包括分类器集成 、代价敏感学习和特征选择方法等 .

一、重采样方法

1. 上采样
   上采样方法较高级的做法一般采用启发式技巧，有选择的通过原有稀有类样本生成新的样本，Chawla等人提出的SMOTE算法是一种简单有效的上采样方法，该方法首先为每个稀有类样本随机选出几个邻近样本，并且在该样本与这些邻近的样本的连线上随机取点，生成无重复的新的稀有类样本。简单地说，它查看少数类数据点的特征空间，并考虑它的k个最近邻。
   SMOTE算法实现代码：

from imblearn.over_sampling import SMOTE

# Resample the minority class. You can change the strategy to 'auto' if you are not sure.
sm = SMOTE(sampling_strategy='minority', random_state=7)

# Fit the model to generate the data.
oversampled_trainX, oversampled_trainY = sm.fit_sample(credit_df.drop