Imbalanced Data

最新推荐文章于 2024-04-26 19:57:30 发布
最新推荐文章于 2024-04-26 19:57:30 发布
阅读量2.1k 收藏 2
点赞数 1
分类专栏： MachineLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wlqkycg/article/details/73648280
版权

1:什么是Imbalanced Data

类不平衡（class-imbalance）是指在训练分类器中所使用的训练集的类别分布不均。比如说一个二分类问题，1000个训练样本，比较理想的情况是正类、负类样本的数量相差不多；而如果正类样本有995个、负类样本仅5个，就意味着存在类不平衡。

 have a binary classification problem and one class is present with 60:1 ratio in my training set. I used the logistic regression and the result seems to just ignores one class.

I am working on a classification model. In my dataset I have three different labels to be classified, let them be A, B and C. But in the training dataset I have A dataset with 70% volume, B with 25% and C with 5%. Most of time my results are overfit to A. Can you please suggest how can I solve this problem?


What is Imbalanced Data?

Imbalanced data typically refers to a problem with classification problems where the classes are not represented equally.

For example, you may have a 2-class (binary) classification problem with 100 instances (rows). A total of 80 instances are labeled with Class-1 and the remaining 20 instances are labeled with Class-2.

This is an imbalanced dataset and the ratio of Class-1 to Class-2 instances is 80:20 or more concisely 4:1.

You can have a class imbalance problem on two-class classification problems as well as multi-class classification problems. Most techniques can be used on either.

8 Tactics To Combat Imbalanced Training Data

1) Can You Collect More Data?

You might think it’s silly, but collecting more data is almost always overlooked.

Can you collect more data? Take a second and think about whether you are able to gather more data on your problem.

A larger dataset might expose a different and perhaps more balanced perspective on the classes.

More examples of minor classes may be useful later when we look at resampling your dataset.

2) Try Changing Your Performance Metric

Accuracy is not the metric to use when working with an imbalanced dataset. We have seen that it is misleading.

There are metrics that have been designed to tell you a more truthful story when working with imbalanced classes.

I give more advice on selecting different performance measures in my post “Classification Accuracy is Not Enough: More Performance Measures You Can Use“.

In that post I look at an imbalanced dataset that characterizes the recurrence of breast cancer in patients.

From that post, I recommend looking at the following performance measures that can give more insight into the accuracy of the model than traditional classification accuracy:

  • Confusion Matrix: A breakdown of predictions into a table showing correct predictions (the diagonal) and the types of incorrect predictions made (what classes incorrect predictions were assigned).
  • Precision: A measure of a classifiers exactness.
  • Recall: A measure of a classifiers completeness
  • F1 Score (or F-score): A weighted average of precision and recall.

I would also advice you to take a look at the following:

  • Kappa (or Cohen’s kappa): Classification accuracy normalized by the imbalance of the classes in the data.
  • ROC Curves: Like precision and recall, accuracy is divided into sensitivity and specificity and models can be chosen based on the balance thresholds of these values.

You can learn a lot more about using ROC Curves to compare classification accuracy in our post “Assessing and Comparing Classifier Performance with ROC Curves“.

Still not sure? Start with kappa, it will give you a better idea of what is going on than classification accuracy.

3)对数据集进行重采样 


可以使用一些策略该减轻数据的不平衡程度。该策略便是采样(sampling)，主要有两种采样方法来降低数据的不平衡性。

  • 对小类的数据样本进行采样来增加小类的数据样本个数，即过采样（over-sampling ，采样的个数大于该类样本的个数）。对大类的数据样本进行采样来减少该类数据样本的个数，即欠采样（under-sampling，采样的次数少于该类样本的个素）。

    采样算法往往很容易实现，并且其运行速度快，并且效果也不错。更详细的内容参见这里。 
    一些经验法则：

    考虑对大类下的样本（超过1万、十万甚至更多）进行欠采样，即删除部分样本；

    考虑对小类下的样本（不足1为甚至更少）进行过采样，即添加部分样本的副本；

    考虑尝试随机采样与非随机采样两种采样方法；
    考虑对各类别尝试不同的采样比例，比一定是1:1，有时候1:1反而不好，因为与现实情况相差甚远；

    考虑同时使用过采样与欠采样。

    4)尝试产生人工数据样本 

      一种简单的人工样本数据产生的方法便是，对该类下的所有样本每个属性特征的取值空间中随机选取一个组成新的样本，即属性值随机采样。你可以使用基于经验对属性值进行随机采样而构造新的人工样本，或者使用类似朴素贝叶斯方法假设各属性之间互相独立进行采样，这样便可得到更多的数据，但是无法保证属性之前的线性关系（如果本身是存在的）。 
      有一个系统的构造人工数据样本的方法SMOTE(Synthetic Minority Over-sampling Technique)。SMOTE是一种过采样算法，它构造新的小类样本而不是产生小类中已有的样本的副本，即该算法构造的数据是新样本，原数据集中不存在的。该基于距离度量选择小类别下两个或者更多的相似样本，然后选择其中一个样本，并随机选择一定数量的邻居样本对选择的那个样本的一个属性增加噪声，每次处理一个属性。这样就构造了更多的新生数据。具体可以参见原始论文。 
    这里有SMOTE算法的多个不同语言的实现版本： 

    Python: UnbalancedDataset模块提供了SMOTE算法的多种不同实现版本，以及多种重采样算法。
    R: DMwR package。

    Weka: SMOTE supervised filter。

    5）尝试不同的分类算法 

      强烈建议不要对待每一个分类都使用自己喜欢而熟悉的分类算法。应该使用不同的算法对其进行比较，因为不同的算法使用于不同的任务与数据。具体可以参见“Why you should be Spot-Checking Algorithms on your Machine Learning Problems”。 
      决策树往往在类别不均衡数据上表现不错。它使用基于类变量的划分规则去创建分类树，因此可以强制地将不同类别的样本分开。目前流行的决策树算法有：C4.5、C5.0、CART和Random Forest等。基于R编写的决策树参见这里。基于Python的Scikit-learn的CART使用参见这里。
    6）尝试对模型进行惩罚 
      你可以使用相同的分类算法，但是使用一个不同的角度，比如你的分类任务是识别那些小类，那么可以对分类器的小类样本数据增加权值，降低大类样本的权值（这种方法其实是产生了新的数据分布，即产生了新的数据集，译者注），从而使得分类器将重点集中在小类样本身上。一个具体做法就是，在训练分类器时，若分类器将小类样本分错时额外增加分类器一个小类样本分错代价，这个额外的代价可以使得分类器更加“关心”小类样本。如penalized-SVM和penalized-LDA算法。 
      Weka中有一个惩罚模型的通用框架CostSensitiveClassifier，它能够对任何分类器进行封装，并且使用一个自定义的惩罚矩阵对分错的样本进行惩罚。 
      如果你锁定一个具体的算法时，并且无法通过使用重采样来解决不均衡性问题而得到较差的分类结果。这样你便可以使用惩罚模型来解决不平衡性问题。但是，设置惩罚矩阵是一个复杂的事，因此你需要根据你的任务尝试不同的惩罚矩阵，并选取一个较好的惩罚矩阵。
    7）尝试一个新的角度理解问题 
      我们可以从不同于分类的角度去解决数据不均衡性问题，我们可以把那些小类的样本作为异常点(outliers)，因此该问题便转化为异常点检测(anomaly detection)与变化趋势检测问题(change detection)。 
      异常点检测即是对那些罕见事件进行识别。如通过机器的部件的振动识别机器故障，又如通过系统调用序列识别恶意程序。这些事件相对于正常情况是很少见的。 
      变化趋势检测类似于异常点检测，不同在于其通过检测不寻常的变化趋势来识别。如通过观察用户模式或银行交易来检测用户行为的不寻常改变。 
      将小类样本作为异常点这种思维的转变，可以帮助考虑新的方法去分离或分类样本。这两种方法从不同的角度去思考，让你尝试新的方法去解决问题。
    8）尝试创新 
      仔细对你的问题进行分析与挖掘，是否可以将你的问题划分成多个更小的问题，而这些小问题更容易解决。你可以从这篇文章In classification, how do you handle an unbalanced training set?中得到灵感。例如： 

    • 将你的大类压缩成小类；
    • 使用One Class分类器（将小类作为异常点）；
    • 使用集成方式，训练多个分类器，然后联合这些分类器进行分类；

    相关链接：

    http://machinelearningmastery.com/tactics-to-combat-imbalanced-classes-in-your-machine-learning-dataset/

    http://blog.csdn.net/heyongluoyao8/article/details/49408131

  • http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650718717&idx=1&sn=85038d7c906c135120a8e1a2f7e565ad&scene=0#wechat_redirect

  • https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650724464&idx=1&sn=1f34358862bacfb4c7ea17c864d8c44d&chksm=871b1c0eb06c95180e717d8316b0380602f638a764530b4b9e35ac812c7c33799d3357d46f00&scene=0&key=0f5e635eeb6bf20a076ad60d7f11c6ef5c5c1c8f02873bc8b458381b629a1e2ae76174d0d4ba34331c71d095e3b3b92aa7fff5e1e11badeaf6c87ff90fd264f3dc6b1eb074eaccb2ac46e8f2d440cefd&ascene=0&uin=MTU1NTY3MTA0Mg%3D%3D&devicetype=iMac+MacBookPro12%2C1+OSX+OSX+10.11.6+build(15G1217)&version=12010310&nettype=WIFI&fontScale=100&pass_ticket=csWk%2BJXfpl7rA8r527fLqF%2BF3EZEeBKpFRjI%2BWMXoPf2PEtPt%2FLMrscLX4GBl7gg


Future-Miracle
关注
专栏目录
ML on Imbalance Data
Perfe's Blog
09-22 1135
Machine Learning Project on Imbalance Data（不平衡类的处理）原文本文是阅读上述原文后，自己做的缩略版版笔记，希望对大家有所帮助。 这篇文章看似是专门讲不平衡分类问题，但是实际上里面的步骤对于一个机器学习项目都是适用的，只不过在某些过程的处理上，有一些特殊的trick而已。 Imbalance data Examples fraud(诈骗) detection
imbalanced data相关论文
sinat_41679123的博客
03-31 397
各个领域imbalanced data相关论文，cv/nlp/其他
处理不均衡的数据（imbalanced data）
一路向北
05-24 5093
什么是不均衡数据 不均衡数据的形式很简单. 这里有苹果和梨, 当你发现你手中的数据对你说, 几乎全世界的人都只吃梨, 如果随便抓一个路人甲, 让你猜他吃苹果还是梨, 正常人都会猜测梨.不均衡的数据预测起来很简单. 永远都猜多的那一方面准没错. 特别是红色多的那一方占了90%. 只需要每一次预测的时候都猜红色, 预测准确率就已经达到了相当高的90%了. 没错, 机器也懂这个小伎俩. 所以机器学到最后...
非平衡数据（imbalanced data）简单介绍
fulk6667g78o8的专栏
06-15 6344
不平衡分类是指分类预测建模问题，其中每个类标签的训练数据集中的示例数量不平衡。也就是说，类分布不等于或接近等于，而是有偏差或偏斜。 不平衡分类问题是分类问题的一个示例，其中已知类中的示例分布有偏差或偏斜。分布可以从轻微的偏差到严重的不平衡，其中少数类中有一个示例，而多数类中有数百、数千或数百万个示例。 不平衡的分类对预测建模提出了挑战，因为大多数用于分类的机器学习算法都是围绕每个类的示例数量相等的假设设计的。这会导致模型的预测性能不佳，特别是对于少数类。这是一个问题，因为通常少数类更重要，因此问题对少数
Imbalance data——数据不平衡问题
weixin_30684743的博客
02-27 471
1.决策树和LR会使结果偏向与训练集多的类别，训练集少的类别会当成噪音或者被忽视 2.没有很好的衡量不平衡问题的评价方法。 1. 重采样 resample a. Random under-sampling 随机删除类别多的数据集 i. 运行时间和占用内存少 ii...
数据不均衡问题经典文献《Learning from Imbalanced Data》
12-15
数据不平衡是指在数据集中，一类（或多类）样本特别多而另一类（或多类）样本特别少。这种问题广泛存在于金融欺诈、医学检测、网络入侵等场景中。
Escaping Saddle Points for Effective Generalizationon Class-Imbalanced Data 论文阅读
最新发布
weixin_51657614的博客
04-26 993
近年来，由于精心策划的数据集[34,45]的可用性，在视觉识别方面取得了很大进展，这些数据集在不同类别的样本频率方面得到了人为平衡。然而，现代现实世界的数据集往往是不平衡的(即长尾等)[33,49,50]，并遭受各种分布转移。像深度神经网络这样的过度参数化模型通常会过度拟合具有高频率样本的类，而忽略少数样本(尾部)[8,50]。在这种情况下，当对关注少数数据性能的指标进行评估时，这些模型的表现很差。这些指标是评估各个领域(如公平性[14]、医学成像[57]等)模型的基本和实用标准。
Learning from Imbalanced Data 翻译和阅读笔记
qq_40310050的博客
08-26 1218
Learning from Imbalanced Data 发表在IEEE《TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》，09年的一篇好文章，综述类型的吧，比较全面地介绍了数据不均衡的知识。当时看谷歌学术上引用量6504。导师也给我圈了这篇文章让我看。 就边翻译边学习边记录。 论文下载链接： https://ieeexplore.ieee.org/abstract/document/5128907. 摘要 随着数据可用性在许多大型、复杂和网络化系统(如监视、
【论文阅读】Learning from Imbalanced Data
要加油
07-23 2431
论文阅读笔记《Learning from imbalanced data》 He H, Garcia E A. Learning from imbalanced data[J]. IEEE Transactions on Knowledge & Data Engineering, 2008 (9): 1263-1284. 文章目录论文阅读笔记《Learning from imbalance...
imbalanced data set classification 不平衡数据分类
02-11
非常有用的不平衡数据处理方法，该资源是ppt文件，希望对大家有帮助
Imbalanced-Dataset
03-26
不平衡数据集 该文件说明了处理不平衡数据集的欠采样和过采样方法 使用的图书馆 熊猫imblearn numpy
SMOTE过采样处理不均衡数据（imbalanced data）
热门推荐
I‘m Frank Lee
02-21 1万+
关于不均衡数据（imbalanced data）的相关介绍和处理方法，可以参见处理不均衡数据（imbalanced data）的几种方法，本文主要介绍SMOTE过采样处理不均衡数据。 SMOTE全称是Synthetic Minority Oversampling Technique，即合成少数类过采样技术。它是基于随机过采样算法的一种改进方案，因为随机过采样算法容易产生模型过拟合的问题，使得模型...
数据集的非均衡问题(imbalanced data)和应对方法
haoji007的博客
05-16 4365
写在前面： 作者是数据挖掘/机器学习新人进阶，专栏目的是分享自己的学习与进阶过程，把自己觉得有趣有价值的内容放上来。内容基本总结自我看过的英文教材/论文/论坛，如果涉及到侵权等问题麻烦私信。这一篇的主要内容是在分类问题中解决不平衡(imbalanced)问题的思路，深入的数学原理及推理在参考文献中。我自己是R-user，正在学习Python，这篇文章不会有很实用的package教程，想看教程的可以去CSDN和github搜索相应的教程。如果有任何不清楚或不准确的描述，希望各位读者指出，多多指教啦！ .
Classification with Imbalanced Data
jiandanjinxin的专栏
03-29 1372
RUSBoost is especially effective at classifying imbalanced data, meaning some class in the training data has many fewer members than another. RUS stands for Random Under Sampling.%http://cn.mathworks.c
特征锦囊：如何在Python中处理不平衡数据
abcdefg90876的博客
11-16 1250
特征锦囊：如何在Python中处理不平衡数据???? Index1、到底什么是不平衡数据2、处理不平衡数据的理论方法3、Python里有什么包可以处理不平衡样本4、Python中具体如何...
（DCL）Dynamic Curriculum Learning for Imbalanced Data Classification
A20120942的博客
04-26 1652
Dynamic Curriculum Learning for Imbalanced Data Classification 动态课程学习用于样本不均衡分类 对于数据不平衡，可以用重采样和代价平衡（cost-sensitive），但它们需要先验知识。为了解决这一问题，本文提出DCL框架，用于每个batch中在线自适应调节采样策略和损失学习，其泛化性能和判别能力更强。受CL启发，DCL由两级课程...
imbalanced data处理的方法
panxinyuan的博客
03-31 1147
看到这篇博文，详细介绍了不平衡数据的处理方法和技巧https://www.analyticsvidhya.com/blog/2017/03/imbalanced-classification-problem/ 另外大数据竞赛官网https://www.kaggle.com 可以常去看看 python 的常用package，去官网系统学习一下； Extreme gradient boosti
遇到class-imbalanced data（数据类目不平衡）问题怎么办？
weixin_48331187的博客
10-18 121
常见的重新采样方法包括欠采样（Under-sampling，即减少多数类样本），过采样（Over-sampling，即增加少数类样本）以及合成采样（Synthetic Sampling，如SMOTE算法），根据具体情况选择适当的方法。2. 类别权重（Class Weighting）：通过为不同类别赋予不同的权重，使得模型更加关注少数类别的训练样本。3. 数据生成（Data Generation）：对于少数类别的数据，可以采用生成新的合成数据样本的方法，以增加其样本数量。
王和勇计算机软件,Research of imbalanced data classification不平衡数据集的分类方法研究...
weixin_33331063的博客
07-07 200
摘要：Imbalanced data set cause the deduction of the precision of the minority class samples,when it is classified by traditional algorithm,which can tend to favor the more class samples.In view of the i...
不平衡数据学习挑战：《Learning from Imbalanced Data》深度解析
《Learning from Imbalanced Data》是一篇由Haibo He和Edwardo A. Garcia撰写的重要文献，它关注的是在大量、复杂且网络化的系统中，如监控、安全、互联网和金融等领域，随着数据的持续增长，如何处理数据不平衡问题...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值