人工智能/机器学习基础知识——欠采样&过采样（UnderSampling & OverSampling）

原创 已于 2024-04-11 01:43:49 修改 · 1.8k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习

于 2024-04-11 01:15:12 首次发布
本文介绍了在处理不平衡数据集时常用的两种方法：欠采样（如UnderSampling的EasyEnsemble和BalanceCascade）和过采样（如SMOTE、ADASYN）。过采样技术包括SMOTE、SMOTE-Borderline和ADASYN，它们通过合成少数类样本来增加样本量，而欠采样则通过减少多数类样本来平衡数据。作者还讨论了TomekLink和EditedNearestNeighbours等用于改进过采样的策略。

UnderSampling & OverSampling

博客园

博客园

欠采样 & 过采样

UnderSampling

欠采样

EasyEnsemble

Bagging

  • 算法流程

    • 将多类样本随机划分成n个子集，每个子集的数量等于少数类样本的数量

    • 再将每个子集与其余少数类样本结合起来分别训练一个模型

    • 最后将n个模型集成

Balance Cascade

Boosting

  • 算法流程

    • 第n轮训练：从多数样本中采样一部分样本与少数类样本结合起来训练一个模型 M n M_n Mn​

    • 第n + 1轮训练：上一轮训练完成后，将能被 M n M_n Mn​正确分类的多数样本剔除，再从现在的多数样本中采样一部分与少数类样本结合起来训练下一个模型 M n + 1 M_{n+1} Mn+1​

    • 最后将训练所得各个阶段的模型进行集成（加权平均）

NearMiss

  • NearMiss-1

    • 选择到最近的K个少数类样本平均距离最近的多数类样本

  • NearMiss-2

    • 选择到最远的K个少数类样本平均距离最近的多数类样本

  • NearMiss-3

    • 对于每个少数类样本选择K个最近的多数类样本，目的是保证每个少数类样本都被多数类样本包围

最低0.47元/天 解锁文章
AI机器学习基础：类别不平衡处理技术（SMOTE过采样、欠采样、类别权重）
本博客聚焦 YOLOv11 全流程落地，涵盖架构优化、数据集处理、训练技巧与多场景部署，兼及国产数据库、Java 开发与 AI 模型应用，内容兼顾理论与工程实践，为开发者提供系统干货，助力高效提升技术能力。
06-16 788
类别不平衡问题在分类任务中普遍存在，表现为不同类别样本数量差异显著。本文系统分析了类别不平衡的定义、量化指标及三大解决框架：数据层面方法（如SMOTE过采样）、算法层面方法（如代价敏感学习）和评估指标优化。重点探讨了SMOTE技术原理，通过线性插值生成合成样本来平衡数据分布，并介绍了Borderline-SMOTE等改进算法。文中还提供了Python实现代码，为处理不平衡数据提供了实用解决方案。
过采样和欠采样（数据不均衡处理）
xiaziqiqi的博客
08-18 3926
全文主要介绍了过采样（over sampling）和欠采样（under sampling）以及部分代码实现。具体的算法有ADASYN（过采样），SMOTE（过采样），NearMiss（欠采样）的python实现。
过采样和欠采样
热门推荐
坚持
10-26 8万+
一、采样定理 只要采样频率高于信号最高频率的两倍，就可以从采样信号中恢复出原始信号。 二、过采样和欠采样 1、采样频率高于信号最高频率的两倍，这种采样被称为过采样。 2、采样频率低于信号最高频率的两倍，这种采样被称为欠采样。 三、基带信号和频带信号的采样 1、对基带信号进行欠采样是无法从采样信号中恢复出原始信号的，因此基带信号的采样都是过采样。   2、对频带信号进行采样可以是...
处理 原始不平衡数据集时，常用的对比采样方式（如欠采样、过采样、过采样+插补）
最新发布
weixin_45503138的博客
10-10 217
欠采样：通过减少多数类样本来平衡数据，但可能丢失有价值的多数类信息。过采样：通过增加少数类样本来平衡数据，有助于模型学习少数类的特征，但可能导致过拟合。过采样+插补：结合过采样与插补，既能增加少数类样本，又能通过插补生成更多有效样本，改善模型的训练效果，但需要小心避免引入过多噪声或数据偏差。这些方法可以结合使用，具体采用哪种方法取决于数据集的特点以及任务需求。在实际应用中，可以通过交叉验证等方式来选择最合适的采样策略。
ADC的过采样与欠采样
weixin_43212761的博客
04-14 4719
第一行 F(u)是被采样信号 I(x)的频域响应，第二行中 S(x)是采样信号的时域信号，是一组间隔为∆x的脉冲信号，它的频域响应 S(u)也是一组脉冲信号，但间隔变为 1/∆x。根据傅里叶变换的法则，时域中相乘相当于频域中做卷积，因此第三行中被采样之后的信号对应的频域响应成为了频域中的周期性重复信号，其间隔为 1/∆x亦即采样频率 fs。a)表示采样频率 fs > 2fh时的情况，采样频率确保了每个模拟信号周期内有大于 2个采样点，原信号的信息可以被正确还原，这种情况也称为过采样；
过采样、欠采样
weixin_44646187的博客
09-29 7922
例如：建立信用违约模型时，违约样本的比例远小于不违约样本的比例，此时模型会花更多精力去你和不违约样本，但实际上找出违约样本更重要，这会导致模型可能在训练集上表现良好，但测试时表现不佳，为了改善样本比例不均衡的问题，可以使用过采样和欠采样的方法，假设现在有100个违约样本和1000个不违约样本。（1）随即过采样：随即过采样时从100个违约样本中随机抽取旧样本作为一个新样本，假设反腐抽取900次，然后和原来的100个旧样本组合成新的1000个违约样本，和1000个不违约样本一起构成新的训练集。
机器学习：类别不平衡数据优化-欠采样
Wei_sx的博客
12-20 1231
欠采样（Undersampling）是一种处理类别不平衡数据问题的方法，通过减少多数类样本的数量来平衡数据集。由于样本较少的类别对模型预测能力至关重要，欠采样旨在降低多数类别的样本数，从而提高模型在不平衡数据集上的表现。
机器学习西瓜书——多分类问题&类别不平衡问题
m0_73556978的博客
09-26 1311
前面介绍了很多分类器，如对数几率回归，线性判别分析，这些都是二分类的分类器，他们本身并不能进行多分类任务的分类，然而多分类任务经过拆分是可以拆分成若干个二分类任务的。基于这种“拆解法”我们可以训练处若干个二分类器，然后对二分类的结果进行集成，得出多分类任务的预测结果。常见的拆解策略有：“一对一“（One vs. One简称OVO），“一对多”（One vs. Rset简称OVR），“多对多”（Many vs. Many简称MVM） 下面是详细讲解。
17、不平衡分类中的过采样、欠采样与成本敏感学习
linux6sysadmin的博客
08-22 38
本文探讨了不平衡分类中的过采样与欠采样技术，重点介绍了结合使用的策略如 SMOTEENN，并分析了其在提升模型性能中的作用。同时，文章深入介绍了成本敏感学习的概念和方法，强调其在不平衡数据处理中的重要性。通过混淆矩阵和成本矩阵的引入，展示了如何在模型训练中考虑不同误分类错误的成本。文章还提供了多种实现方法，包括数据采样、算法修改和集成方法，并总结了当前研究的不足与未来发展方向。
采样和欠采样与类对齐策略
百态老人的博客
12-22 700
处理不平衡数据集的方法多种多样，选择合适的策略需要根据具体的数据集和任务需求来决定。欠采样和过采样各有优缺点，而混合采样和类对齐策略则提供了更为灵活和有效的解决方案。合理应用这些技术可以帮助提升机器学习模型在不平衡数据集上的性能。评估不同采样策略在特定不平衡数据集上的效果需要综合考虑多个因素，包括数据集的特性、模型的需求以及采样策略的适用性和局限性。数据集分析不平衡程度：首先，需要分析数据集的不平衡程度，了解各类别样本数量的比例。例如，如果正类样本数量远少于负类样本，那么数据集可能具有严重的不平衡问题。
过采样和欠采样原理对比
04-06
详细描述了过采样、欠采样的原理，并就实际工程应用给出了2者的对比。
机器学习中的过采样和欠采样
m0_46335150的博客
01-09 5684
机器学习中过采样和欠采样有什么作用
欠采样（undersampling）和过采样（oversampling）会对模型带来怎样的影响
Dawei_01的博客
06-28 4万+
参考：知乎专栏 项目中出现了二分类数据不平衡问题，研究总结下对于类别不平横问题的处理经验： 1：为什么类别不平衡会影响模型的输出： 许多模型的输出类别是基于阈值的，例如逻辑回归中小于0.5的为反例，大于则为正例。在数据不平衡时，默认的阈值会导致模型输出倾向与类别数据多的类别。 因此可以在实际应用中，解决办法包括： 1)调整分类阈值，使得更倾向与类别少的数据。 2）选择合适的评估标准，比...
数据预处理：过采样与欠采样
Lyn4444的博客
03-19 1068
数据预处理：过采样与欠采样
机器学习数据不平衡-过采样与欠采样
weixin_42595747的博客
09-10 877
数据重采样（Resampling） 是在处理机器学习问题时的一种技术，特别是在处理样本不平衡时。数据重采样的目的是通过调整训练数据来平衡类别，使得模型在处理不平衡数据时能够有更好的表现。欠采样（Under-sampling）：从多数类中随机移除一部分样本，减少多数类样本数量，达到平衡。过采样（Over-sampling）：通过重复少数类样本或生成新的少数类样本，增加少数类样本数量。更复杂的重采样方法包括 SMOTE（合成少数类过采样技术），其通过插值生成新的少数类样本。
过采样与欠采样&图像重采样（上采样&下采样）
lihe的博客
12-16 2万+
参考文章： https://blog.csdn.net/majinlei121/article/details/46742339 https://blog.csdn.net/Chaolei3/article/details/80225756 https://blog.csdn.net/h763247747/article/details/100135924 https://blog.csdn.ne...
[python数据处理系列] 深入理解与实践基于聚类的过采样与欠采样技术：以K-Means为例
2301_81199775的博客
04-29 3107
本篇博客将深入探讨过采样和欠采样技术，这两种技术是处理不平衡数据的重要方法。首先，我们将介绍过采样和欠采样的基本概念，以及它们的优缺点。然后，我们将重点讨论基于聚类的欠抽样方法——K-Means欠采样，包括其原理、步骤以及为何选择这种方法。接下来，我们将通过Python代码实现K-Means欠采样，并展示如何确定多数类样本欠抽样的数据量，以及如何从每个簇中选择样本。最后，我们还将简要介绍基于聚类的过抽样方法——K-Means过抽样。希望通过这篇博客，读者能够对过采样和欠采样技术有更深入的理解。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值