Python处理样本不均衡问题

1、背景

样本类别不均衡是机器学习实践中经常会遇到的问题，很多时候我们只有少量的正样本和非常多的负样本，当然这种情况在多分类问题中也会经常遇到。

这种现象会对机器学习模型的性能带来很大影响。因为负样本很多，负样本在总的损失函数中的占比很大，使得模型会专注与学习负样本相关的信息来减小损失，对于正样本的关注度不足，导致最终模型对正样本以及与正样本相似的负样本的分类效果较差。

2、数据重采样

为了解决上述数据不均衡的问题，一个被广泛采用的技术叫做数据重采样。它包含从多数类别的样本中删除个别样本（下采样）以及往少数类别的样本中添加更多样本（过采样）。

（1）上采样

通过采样对样本进行扩充，简单的重复样本不是和好方法，最好使用数据增强的方式生成相对自然又有新信息的样本。

缺点： 实现过采样一种简单的方式是重复复制数量较少的类别的样本，这有可能会导致模型过拟合。

（2）下采样

通过随机采样、分层采样、加权采样等方式对样本进行筛选，保留比较有代表性的样本，去掉大量重复的相似的样本。

缺点： 实现下采样最简单的方式是删除数量较多的某类样本，这可能会导致训练过程信息丢失。

3、权重法

样本数量多类别，样本权重小一些；样本数量少的类别，样本权重大一些。

4、不均衡数据集采样器：PyTorch采样器ImbalancedDatasetSampler

特点：

• 能够从不平衡的数据集采样后重新平衡类间分布
• 能够自动估计采样时的权值
• 避免创建新的平衡数据集
• 当它与数据增强技术一起使用时，可以减轻过拟合

5、SMOTE方法

SMOTE算法的基本思想就是对少数类别样本进行分析和模拟，并将人工模拟的新样本添加到数据集中，进而使原始数据中的类别不再严重失衡。是基于随机过采样算法的一种改进方案。

该算法的模拟过程采用了KNN技术，模拟生成新样本的步骤如下：

• 采样最邻近算法，计算出每个少数类样本的K个近邻；
• 从K个近邻中随机挑选N个样本进行随机线性插值；
• 构造新的少数类样本；
• 将新样本与原数据合成，产生新的训练集；

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from imblearn.over_sampling import SMOTE
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import confusion_matrix
from sklearn.model_selection import train_test_split

# 读取数据集并处理
data = pd.read_csv("E:/file/creditcard.csv")
data['normAmount'] = StandardScaler().fit_transform(data['Amount'].values.reshape(-1, 1))
credit_cards = data.drop(['Time','Amount'],axis=1)

X = data.values[:, data.columns != 'Class']
y = data.values[:, data.columns == 'Class']

columns=credit_cards.columns

features_columns=columns.delete(len(columns)-1)
features=credit_cards[features_columns]
labels=credit_cards['Class']

features_train, features_test, labels_train, labels_test = train_test_split(features,
                                                                            labels,
                                                                            test_size=0.2,
                                                                            random_state=0)

oversampler=SMOTE(random_state=0)
os_features,os_labels=oversampler.fit_resample(features_train,labels_train)

len(os_labels[os_labels==1])

os_features = pd.DataFrame(os_features)
os_labels = pd.DataFrame(os_labels)

# 打印SMOTE后正负样本比例
print('正常样本所占整体比例:', len(os_features[os_features.Class == 0]) / len(os_features))
print('负样本所占整体比例:', len(os_features[os_features.Class == 1]) / len(os_features))
print('SMOTE测略总体样本数量:', len(os_features))

# 对整个数据集进行划分， X为特征数据， Y为标签， test_size为测试集比列， random_state 为随机种子， 目的是使得每次随机的结果都一样
X_train, X_test, y_train, y_test = train_test_split(X,y,test_size = 0.3, random_state = 0)

print('原始训练集包含的样本数量：', len(X_train))
print('原始测试集包含的样本数量：', len(X_test))
print('原始样本总数：', len(X_train) + len(X_test))

# 下采样数据集进行划分
X_train_smote_sample, X_test_smote_sample, y_train_smote_sample, y_test_smote_sample = train_test_split(os_features
                                                                                                   ,os_labels
                                                                                                   ,test_size = 0.3
                                                                                                   ,random_state = 0)
print("")

print('smote训练集包含的样本数量：', len(X_train_smote_sample))
print('smote测试集包含的样本数量：', len(X_test_smote_sample))
print('smote测试集样本总数：', len(X_train_smote_sample) + len(X_test_smote_sample))

6、模型层面：损失函数

消除正负样本比例不平衡，并且增强对难样本的处理能力（一些很难区分的样本，其对立就是很容易识别准确的简单样本，简单样本带来的loss很小，在训练后期大量简单样本会浪费大量的训练时间）。