训练数据样本不均衡问题的处理方法

样本不均衡问题在多种场景如搜索引擎点击预测、电商商品推荐、信用卡欺诈检测等中常见。处理方法包括采样和代价敏感学习。采样分为随机欠采样和过采样,如SMOTE技术。代价敏感学习则通过调整权重或后处理阶段优化模型以适应不平衡数据。
摘要由CSDN通过智能技术生成

训练数据样本不均衡问题的处理方法

1 不均衡数据出现场景

1)搜索引擎的点击预测(网页上推送的广告很多,但被点击的概率往往非常小)
2)电子商务领域的商品推荐(网购平台会推送各种商品,但商品实际被购买的比例很低)
3)信用卡欺诈检测(办理信用卡的用户中,正常合法的用户群占绝大多数,而利用欺诈手段办理信用卡业务的用户很少,建立并训练欺诈检测时样本很不均衡)
4)网络攻击识别
5)疾病诊断等

有时候我们更关心的不是大多数样本发生的概率,而是低概率发生的事件。如上述的信用卡欺诈检测,我们更关心有欺诈动机的用户。如果训练好模型使用预测准确率做评价指标,模型把所有的用户都预测为合法办理,由于绝大部分用户是合法办理信用卡,模型得到的预测准确率可能达到99%,但显然这个模型对于解决欺诈的实际问题并没有意义。

2 不均衡数据处理方法
  • 数据角度:抽样,使数据相对平衡
  • 算法角度:考虑不同误差分类情况代价的差异性对算法进行优化
2.1 采样
2.1.1 随机欠采样

1)方法:从多数类样本中随机选择少量的样本,和原本少数类样本进行合并,得到新的训练数据集,具体可以使用有放回采样、无放回采样等
2)缺点:会造成多数类样本的信息缺失,选取的样本会有偏差
3)解决:使用集成学习算法<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值