机器学习中的样本不平衡学习

最新推荐文章于 2024-05-04 17:26:45 发布
最新推荐文章于 2024-05-04 17:26:45 发布
阅读量3.9k 收藏 88
点赞数 8
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41020287/article/details/111663007
版权

不平衡数据集的处理 

python包：imblearn，参考文档：imbalanced-learn

目录

一、上采样方法（imblearn.over_sampling）

1.1、RandomOverSampler

1.2、SMOTE

1.3、ADASYN

1.4、BorderlineSMOTE

1.5、SVMSMOTE

1.6、KMeansSMOTE

1.7、SMOTENC

二、下采样方法（imblearn.under_sampling）

样本生成方法（prototype generation）

2.1、ClusterCentroids

样本选择方法（prototype selection）

可控制的下采样方法（the controlled under-sampling techniques）

2.2、RandomUnderSampler

2.3、NearMiss

数据清洗方法（the cleaning under-sampling techniques）

2.5、EditedNearestNeighbours

2.6、RepeatedEditedNearestNeighbours

2.7、AllKNN

2.8、CondensedNearestNeighbour

2.9、OneSidedSelection

2.10、NeighbourhoodCleaningRule

2.11、InstanceHardnessThreshold

 三、上、下采样结合（imblearn.combine）

3.1、SMOTEENN

3.2、SMOTETomek

四、下采样多模型融合方法（imblearn.ensemble）

4.1、EasyEnsembleClassifier

4.2、BalancedBaggingClassifier

4.3、BalancedRandomForestClassifier

4.4、RUSBoostClassifier

一、上采样方法（imblearn.over_sampling）

增加少数类的样本。

1.1、RandomOverSampler

通过对少数类样本进行有放回地随机采样来生成少数类的样本。

from imblearn.over_sampling import RandomOverSampler
ros = RandomOverSampler(sampling_strategy={0: 100, 1: 100}, random_state=42)
X_res, y_res = ros.fit_resample(X, y)

1.2、SMOTE

Synthetic Minority Oversampling Technique (SMOTE)，通过插值来生成新样本，对于每个少数类样本计算其K个最近的少数类邻居，然后根据采样比率随机选择若干邻居，最后在少数类样本与邻居样本之间进行插值生成新样本。

from imblearn.over_sampling import SMOTE
sm = SMOTE(random_state=42)
X_res, y_res = sm.fit_resample(X, y)

1.3、ADASYN

Adaptive Synthetic (ADASYN)，也是通过插值来生成新样本，ADASYN更关注于在被K最近邻分类器误分类为多数类的少数类样本（离群点）旁生成新样本，一个少数类样本周围的多数类样本越多，则赋予该少数类样本越大的权重，在该少数类样本旁生成越多的样本，生成过程与SMOTE类似，从少数类样本的K个最近的少数类邻居中随机选择一个少数类邻居进行插值，根据该少数类样本的权重对该少数类样本重复插值若干次。

from imblearn.over_sampling import ADASYN
ada = ADASYN(random_state=42)
X_res, y_res = ada.fit_resample(X, y)

1.4、BorderlineSMOTE

由于SMOTE算法随机选择少数类样本来生成新样本，没有考虑到所选少数类样本周围的情况，因此可能存在两个问题：

  • 所选的少数类样本周围也都是少数类样本，这样合成的新样本不会提供太多有用信息；
  • 所选的少数类样本周围都是多数类样本，这样的样本可能是噪声，生成的新样本可能会与周围多数类样本重叠。

因此BorderlineSMOTE算法在SMOTE算法上进行改进，只使用处于边界上的少数类样本来合成新样本，算法首先将所有少数类样本划分为三类，分别是：

  • noise：噪声样本，即少数类样本的周围K个近邻都是多数类样本；
  • danger：危险样本，即少数类样本的周围K个近邻中有一半及以上为多数类样本；
  • safe：安全样本，即少数类样本的周围K个近邻中有一半以上为少数类样本。

然后算法使用danger样本根据SMOTE算法来生成新样本，根据在生成新样本时选择邻居类别的不同，BorderlineSMOTE又分为borderline-1和borderline-2，前者在K近邻中选择少数类样本来进行插值，后者选择任意类别样本来进行插值。

from imblearn.over_sampling import BorderlineSMOTE
sm = BorderlineSMOTE(random_state=42, kind='borderline-1')
X_res, y_res = sm.fit_resample(X, y)

1.5、SVMSMOTE

SVMSMOTE用SVM分类器来寻找支持向量，然后在支持向量的基础上生成新样本。类似于BorderlineSMOTE，SVMSMOTE也将少数类样本划分为noise、danger和safe三类。

from imblearn.over_sampling import SVMSMOTE
sm = SVMSMOTE(random_state=42)
X_res, y_res = sm.fit_resample(X, y)

1.6、KMeansSMOTE

KMeansSMOTE先对样本进行KMeans聚类，然后根据簇密度来对不同簇的少数类样本进行合成。具体包括三个步骤：

  1. 聚类：使用KMeans将所有样本聚为K个簇；
  2. 过滤：选择用于上采样的簇，保留具有高比例少数类样本的簇；
  3. 上采样：应用SMOTE在每个选定的簇中生成新样本，对于少数类样本越稀疏的簇，生成的少数类样本越多。
from imblearn.over_sampling import KMeansSMOTE
sm = KMeansSMOTE(random_state=42)
X_res, y_res = sm.fit_resample(X, y)

1.7、SMOTENC

Synthetic Minority Oversampling Technique for Nominal and Continuous (SMOTE-NC)，用于处理分类特征。由于分类特征无法计算插值，SMOTENC会在合成新样本时采用K个近邻样本中出现频率最高的分类特征作为新样本的分类特征，使用时需指定分类特征的位置。

from imblearn.over_sampling import SMOTENC
sm = SMOTENC(random_state=42, categorical_features=[18, 19])
X_res, y_res = sm.fit_resample(X, y)

二、下采样方法（imblearn.under_sampling）

减少多数类的样本。

样本生成方法（prototype generation）

2.1、ClusterCentroids

使用KMeans对各类别样本进行聚类，然后将聚类中心作为新生成的样本，以此达到下采样的效果。

from imblearn.under_sampling import ClusterCentroids
cc = ClusterCentroids(random_state=42)
X_res, y_res = cc.fit_resample(X, y)

样本选择方法（prototype selection）

样本选择方法分为两类：第一类为可控制的下采样方法，即下采样的数量可人为指定；第二类为数据清洗方法，下采样的数量不可指定。

可控制的下采样方法（the controlled under-sampling techniques）

2.2、RandomUnderSampler

通过对多数类样本进行有放回或无放回地随机采样来选择部分多数类样本。

from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler(random_state=42)
X_res, y_res = rus.fit_resample(X, y)

2.3、NearMiss

NearMiss增加了一些启发式的规则来选择样本，通过参数version可以指定3种不同的规则：

  • NearMiss-1：选择到最近的N个少数类样本的平均距离最小的多数类样本；
  • NearMiss-2：选择到最远的N个少数类样本的平均距离最小的多数类样本；
  • NearMiss-3：首先，保留每个少数类的M个最近邻样本，然后，选择离N个最近邻样本的平均距离最大的多数类样本。
from imblearn.under_sampling import NearMiss
nm = NearMiss(version=1)
X_res, y_res = nm.fit_resample(X, y)

数据清洗方法（the cleaning under-sampling techniques）

如果两个样本点互为最近邻且分属于不同类别，则在它们之间形成Tomek’s link，通过参数sampling_strategy可以选择剔除的样本类别。

from imblearn.under_sampling import TomekLinks
tl = TomekLinks(sampling_strategy='auto') # 移除多数类样本
# tl = TomekLinks(sampling_strategy='all') # 多数类样本和少数类样本都移除
X_res, y_res = tl.fit_resample(X, y)

2.5、EditedNearestNeighbours

对于需要下采样的类别的每个样本，计算其K个最近邻样本，若

  • 超过一半的邻居样本不属于该类别（kind_sel='mode'），或者
  • 所有邻居样本都不属于该类别（kind_sel='all'），

则剔除该样本。

from imblearn.under_sampling import EditedNearestNeighbours
enn = EditedNearestNeighbours(kind_sel='mode')
# enn = EditedNearestNeighbours(kind_sel='all')
X_res, y_res = enn.fit_resample(X, y)

2.6、RepeatedEditedNearestNeighbours

重复EditedNearestNeighbours多次，参数max_iter控制迭代次数。

from imblearn.under_sampling import RepeatedEditedNearestNeighbours
renn = RepeatedEditedNearestNeighbours(max_iter=100)
X_res, y_res = renn.fit_resample(X, y)

2.7、AllKNN

与RepeatedEditedNearestNeighbours的不同之处在于，在每次迭代过程中，不断增加最近邻的数目。

from imblearn.under_sampling import AllKNN
allknn = AllKNN()
X_resampled, y_resampled = allknn.fit_resample(X, y)

2.8、CondensedNearestNeighbour

使用1近邻方法迭代判断一个样本是否应该被剔除，具体算法步骤如下：

  1. 将所有少数类样本放入集合C；
  2. 从目标类（待下采样的类）中选择一个样本放入C，其余的该类样本放入集合S；
  3. 逐样本遍历集合S，训练1近邻分类器，对S中的所有样本进行分类；
  4. 将S中错误分类的样本加入C；
  5. 重复上述过程直到没有再加入C中的样本。
from imblearn.under_sampling import CondensedNearestNeighbour
cnn = CondensedNearestNeighbour(random_state=42)
X_resampled, y_resampled = cnn.fit_resample(X, y)

2.9、OneSidedSelection

CondensedNearestNeighbour对噪声敏感，容易将噪声样本加入集合C。相反地，OneSidedSelection使用TomekLinks移除噪声样本，除此之外，它将1近邻规则应用于所有样本，被误分类的样本将被加入集合C，在集合S上不进行迭代。

from imblearn.under_sampling import OneSidedSelection
oss = OneSidedSelection(random_state=42)
X_resampled, y_resampled = oss.fit_resample(X, y)

2.10、NeighbourhoodCleaningRule

在EditedNearestNeighbours的基础上进行改进，对所有样本计算其K个最近邻样本，

  • 若当前样本为多数类样本，且超过一半的最近邻样本与其类别不同，则剔除该样本；
  • 若当前样本为少数类样本，且超过一半的最近邻样本与其类别不同，则剔除最近邻样本中的多数类样本。
from imblearn.under_sampling import NeighbourhoodCleaningRule
ncr = NeighbourhoodCleaningRule()
X_resampled, y_resampled = ncr.fit_resample(X, y)

2.11、InstanceHardnessThreshold

InstanceHardnessThreshold使用所有样本训练一个分类器，然后将预测概率低的样本剔除。

from imblearn.under_sampling import InstanceHardnessThreshold
iht = InstanceHardnessThreshold(random_state=42,
                                 estimator=LogisticRegression(
                                   solver='lbfgs', multi_class='auto'))
X_resampled, y_resampled = iht.fit_resample(X, y)

 三、上、下采样结合（imblearn.combine）

先进行上采样，然后使用下采样中的数据清洗方法剔除噪声。

3.1、SMOTEENN

先用SMOTE上采样，再用EditedNearestNeighbours剔除噪声。

from imblearn.combine import SMOTEENN
smote_enn = SMOTEENN(random_state=42)
X_resampled, y_resampled = smote_enn.fit_resample(X, y)

3.2、SMOTETomek

先用SMOTE上采样，再用TomekLinks剔除噪声。

from imblearn.combine import SMOTETomek
smote_tomek = SMOTETomek(random_state=42)
X_resampled, y_resampled = smote_tomek.fit_resample(X, y)

四、下采样多模型融合方法（imblearn.ensemble）

4.1、EasyEnsembleClassifier

4.2、BalancedBaggingClassifier

4.3、BalancedRandomForestClassifier

4.4、RUSBoostClassifier

未完待续...

Christian9971
关注
  • 8
    点赞
  • 踩
  • 88
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
通过 SMOTE 及其变体过采样处理不平衡数据
challeypeng的专栏
03-07 7792
在这篇文章中，我将解释使用 SMOTE、SVM SMOTE、BorderlineSMOTE、K-Means SMOTE 和 SMOTE-NC 进行过采样/上采样。我将通过一个实际示例进行解释，在该示例中我们应用这些方法来解决不平衡的机器学习问题，以了解它们的影响。
python抽样方法详解及实现
热门推荐
qq_24591139的博客
09-06 2万+
随机抽样—总体个数较少 每个抽样单元被抽中的概率相同，并且可以重现。随机抽样常常用于总体个数较少时，它的主要特征是从总体中逐个抽取。 1、抽签法 2、随机数法：随机数表、随机数骰子或计算机产生的随机数。 分层抽样——总体存在差异且对结果有影响 分层抽样是指在抽样时，将总体分成互不相交 [2] 的层，然后按照一定的比例，从各层独立地抽取一定数量的个体，将各层取出的个体合在一起作为样本的方法。层内...
非平衡数据处理-SMOTE Tomek算法（互联网最全）
最新发布
fulk6667g78o8的专栏
05-04 1290
非平衡数据处理-SMOTE Tomek算法（互联网最全）
机器学习-特征工程中的样本不均衡处理方法
数据掘金
07-20 3241
http://www.sohu.com/a/129333346_465975 http://blog.csdn.net/bbbeoy/article/details/72967185
Border-SMOTE解决数据不平衡的问题
weixin_44943389的博客
12-22 512
Border-SMOTE” 是 Synthetic Minority Over-sampling Technique（SMOTE）的一种变体，侧重于数据集中的边际实例。SMOTE是一种常用的机器学习技术，用于解决类别不平衡的问题，特别是在分类问题中，其中一个类别明显地被低估。这些是接近少数类和多数类之间决策边界的实例。它们被认为对改善模型对少数类的性能更具信息性。Synthetic Minority Over-sampling Technique涉及通过在现有少数类实例之间插值来生成少数类的合成示例。
机器学习知识点：不均衡数据的采样方法
Python数据挖掘
06-23 2497
然后，使用3最近邻分类器对数据集进行分类，并将分类器输出的样本集合与前面生成的样本集合取并集，得到最终需要被移除的样本集合。边界样本是指那些位于多数类样本和少数类样本之间的样本，它们往往是难以分类的样本。**CondensedNearestNeighbour算法可以生成一个具有较少样本数量的新样本集，其中包含了原始数据集中的少数类样本和一些被错误分类的样本。较低的密度因子表示该样本所属的区域缺乏少数类样本，而较高的密度因子表示该样本周围有更多的少数类样本。根据特征的频率，确定新样本的位置。
机器学习基于高维稀疏特征以及样本不平衡的银行信贷违约检测python源码.zip
08-10
机器学习基于高维稀疏特征以及样本不平衡的银行信贷违约检测python源码.zip 机器学习基于高维稀疏特征以及样本不平衡的银行信贷违约检测python源码.zip 机器学习基于高维稀疏特征以及样本不平衡的银行信贷违约检测...
深入浅出Python机器学习.pdf
02-23
Scikit-learn是机器学习的核心库，涵盖了分类、回归、聚类、降维、模型选择和预处理等多种功能，广泛应用于实际项目中。 在实际应用中，例如有一个数据集，其中一半数据标记为"朱"，另一半标记为"墨"。当我们面临一...
机器学习——回顾与展望.pdf
09-24
机器学习的研究也存在着一些挑战和难题，例如过拟合、欠拟合、类别不平衡、noise和 outliers等问题。同时，机器学习的应用也存在一些伦理和社会问题，例如隐私保护、偏见和歧视等问题。 机器学习的未来发展趋势包括...
机器学习中的隐私保护综述.pdf
09-24
在训练机器学习模型时，通常需要大量的数据样本，这些数据往往包含用户的个人信息，如行为习惯、位置信息、消费记录等。一旦这些数据被不当利用或泄露，就可能导致用户隐私的丧失。例如，大数据分析用于用户画像，...
机器学习一篇0样本学习的报告，研一课程作业
10-08
机器学习零样本学习（Zero-Shot Learning，ZSL）是一种机器学习技术，旨在解决分类问题中的类别不平衡问题，即在训练数据中没有出现的类别如何被正确分类的问题。零样本学习的关键在于学习图像的视觉特征与每个类的...
专门处理不平衡数据集的算法，使用21种采样的算法，包括SMOTE,集成算法+采样算法，基于聚类的过采样算法。对每一个算法原理，实验结果，评价标准都给了注释。
12-07
对于21种主流的采样算法，使用UCI官方保险数据集，对不平衡数据集进行了python实验，基于AUC和F1进行了评分，对所有结果进行了注释。
基于随机下采样和SMOTE的不均衡SVM分类算法
02-20
传统的支持向量机(SVM)算法在数据不均衡的情况下,分类效果很不理想。为了提高SVM算法在不均衡数据集下的分类性能,提出随机下采样与SMOTE算法结合的不均衡分类方法。该方法首先利用随机下采样对多数类样本进行采样,去除样本中大量重叠的冗余样本,使得在减少数据的同时保留更多有用信息;而对少数类样本则是利用SMOTE算法进行过采样。实验部分将其应用在UCI数据集中并同其他采样算法比较,结果表明文中算法不但能有效提高SVM算法在不均衡数据中少数类的分类性能,而且总体分类性能也有所提高。
SMOTE matlab代码_SMOTE代码_数据不均衡_要用于_
10-04
本资料主要用于解决数据不均衡问题，同时附有相关的matlab教程资料。
python imblearn教程：不平衡数据处理
Cachel Wood的博客
12-02 258
官方教程：https://imbalanced-learn.org/stable/references/index.html不平衡数据的处理主要分为在数据层面的处理和在算法层面的改进，因为两者互不影响，所以也有结合两者的方法。首先进行数据处理，之后再进行算法预测。代表算法：代表算法： 查看数据标签 因为可视化只接受二维数据，所以提取数据前两列 采样函数 导入多样的过采样函数 ​ ​ ​​ ​ ​ ​ ​ ​​ ​ ​ ​ ​
数据分析：使用Imblearn处理不平衡数据（过采样、欠采样）
opp003的博客
05-07 2万+
现实环境中，采集的数据（建模样本）往往是比例失衡的。比如网贷数据，逾期人数的比例是极低的（千分之几的比例）。对于这样的数据很难建立表现好的模型。好在Python有Imblearn包，它就是为处理数据比例失衡而生的。 一.安装Imblearn包 pip3 install imblearn 二.过采样 正样本严重不足，那就补充正样本。使用imblearn包中的over_sampling进行过...
SMOTE算法代码实现-机器学习
kyle1314608的博客
03-06 516
类别不平衡问题 类别不平衡问题，顾名思义，即数据集中存在某一类样本，其数量远多于或远少于其他类样本，从而导致一些机器学习模型失效的问...
样本均衡
南城以北的博客
01-29 1094
SMOTE（Synthetic Minority Over-sampling Technique）过采样的核心在于生成样本，即在少数类样本之间进行插值（线性插值）来产生额外的样本，进而补充那些数据量少的样本，使得不同标签的样本量达到均衡。SMOTE+ENN 是过采样与欠采样相结合的方法，SMOTE 算法的缺点是生成的少数类样本容易与周围的多数类样本产生重叠并难以分类，而数据清洗技术恰好可以处理掉重叠样本。NearMiss 算法的基本思想是选择多数类样本中与少数类样本最接近的样本，从而减少多数类样本的数量。
机器学习数据不平衡不均衡处理之SMOTE算法实现
kyle1314608的博客
04-09 2883
网上关于数据不平衡处理的讨论有很多，大致来说，数据不平衡的处理方法有三种：一是欠采样，二是过采样，三是调整权重。 今天要说的是过采样中...
机器学习中样本复杂度指什么
07-13
样本复杂度是指机器学习算法在处理训练数据时所需的样本数量的度量。它可以衡量算法在学习过程中对于不同样本数量的需求程度。通常情况下，样本复杂度与模型的复杂度和数据的复杂度有关。 在机器学习中，我们通常希望使用足够多的训练样本来获得准确而泛化良好的模型。样本复杂度较高意味着需要更多的训练样本来保证模型的性能。相反，如果样本复杂度较低，则可能需要更少的训练样本。 样本复杂度的概念与模型复杂度和数据复杂度密切相关。模型复杂度是指模型在表示问题时所需的资源量，而数据复杂度是指训练数据中所包含的信息量。在设计机器学习算法时，需要平衡这三个因素，以便获得一个合适的模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值