1. 数据不平衡是什么
所谓的数据不平衡就是指各个类别在数据集中的数量分布不均衡;在现实任务中不平衡数据十分的常见。如
· 信用卡欺诈数据:99%都是正常的数据, 1%是欺诈数据
· 贷款逾期数据
一般是由于数据产生的原因导致出的不平衡数据,类别少的样本通常是发生的频率低,需要很长的周期进行采集。
在机器学习任务(如分类问题)中,不平衡数据会导致训练的模型预测的结果偏向于样本数量多的类别,这个时候除了要选择合适的评估指标外,想要提升模型的性能,就要对数据和模型做一些预处理。
处理数据不平衡的主要方法:
· 欠采样
· 过采样
· 综合采样
· 模型集成
· 调整类别权重或者样本权重
2. 数据不平衡处理方法
imbalanced-learn库提供了许多不平衡数据处理的办法,本文的例子都以imbalanced-learn库来实现。
https://github.com/scikit-learn-contrib/imbalanced-learn
先来看下数据
2.1 欠采样
欠采样,就是对数量多类别的样本进行抽样,使其数量与数量少的类别的数量相当,以此来达到数量的平衡。
推荐 :020 持续更新,精品小圈子每日都有新内容,干货浓度极高。
结实人脉、讨论技术 你想要的这里都有!
抢先入群,跑赢同龄人!(入群无需任何费用)
点击此处,与Python开发大牛一起交流学习。
群号:7458