处理样本分布不平衡,偏斜比较厉害的方法总结

由于,之前一直从事数据挖掘和机器学习方面的学习和工作。在学习和工作中经常会遇到训练的样本中的各个类别的数量存在比较大的差异,而这种差异给模型训练和预测到来了很多困难和挑战。针对这个问题,

我们一般的处理方法有4种:

1.上采样(over-sample);

2.下采样(under-sample);

3.smote方法;

4.调整机器学习算法;


一、上采样也叫过采样,是指用大于信号带宽(2倍或以上)的采样率对模拟信号进行采样,这种采样率是能够唯一重建模拟信号的采样率,一般是模拟到数字的采样过程。我们在分类中,通常是对样本较少的类别进行重复复制从而增加了这个类别的数量。

二、下采样:也是数字到数字的过程,减采样点,用于接收端降低接收机的复杂度。在分类中和上采样相反,它是删除掉类型中数量较多的样本,从而到达各个类型的数量平衡。

三、smote方法,主要是通过计算和和数量类别较小的样本的距离,从距离较近的样本加入到这个类别中,从而到达增加类别数量较小的样本比例。具体可以参考论文 SMOTE: Synthetic Minority Over-sampling Technique

四、针对特定的机器学习任务,选择对应的算法。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值