安装 imbalanced-learn
库:
pip install imbalanced-learn
使用 SMOTE 和 TomekLink 进行数据平衡处理的完整代码示例:
import numpy as np
import pandas as pd
from sklearn.datasets import make_classification
from imblearn.combine import SMOTETomek
from collections import Counter
import matplotlib.pyplot as plt
# 生成一个不平衡数据集
X, y = make_classification(n_samples=1000, n_features=20, n_informative=2,
n_redundant=10, n_clusters_per_class=1,
weights=[0.99], flip_y=0, random_state=1)
print('原始数据集的类分布:', Counter(y))
# 使用 SMOTE 和 TomekLink 进行过采样和清理
smote_tomek = SMOTETomek(random_state=42)
X_res, y_res = smote_tomek.fit_resample(X, y)
print('处理后的数据集的类分布:', Counter(y_res))
# 可视化原始和处理后的数据分布(假设使用前两个特征)
def plot_distribution(X, y, title):
plt.scatter(X[y == 0][:, 0], X[y == 0][:, 1], label="Class 0", alpha=0.5)
plt.scatter(X[y == 1][:, 0], X[y == 1][:, 1], label="Class 1", alpha=0.5)
plt.title(title)
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.legend()
plt.show()
plot_distribution(X, y, '原始数据集的类分布')
plot_distribution(X_res, y_res, '处理后的数据集的类分布')
始数据和处理后数据的类分布图,其中类 0 和类 1 的样本分布更加均匀