机器学习:正负样本数据量不平衡处理方法

无偏采样:意味着真实样本总体的类别比例在训练集中得以保持。

在训练集中正反例数目不同时,令m^{+}表示正例数目,m^{-}表示反例数目,观测几率为\frac{m^{+}}{m^{-}},,我们假设训练集是真是样本总体的无偏采样,因此观测几率就代表了真实几率。只要分类器的预测几率高于观测几率就应判定为正例,即

                                           若\frac{y}{1-y}>\frac{m^{+}}{m^{-}} ,则预测为正例。

再缩放(再平衡):\frac{y^{'}}{1-y^{'}}=\frac{y}{1-y}\times\frac{m^{-}}{m^{+}}             (1)。

再缩放思想虽然简单,但是实际操作却不平凡,主要因为无偏采样的假设往往不成立,就是说我们未必能有效的基于训练集观测几率来推断出真实几率。现有技术上大体上有三类做法:欠采样(下采样),过采样(上采样),阈值移动。

欠采样:若随机丢失反例,可能丢失一些重要信息。代表性算法EasyEnsemble是利用集成学习机制,将多数类样本划分若干个集合供不同学习器使用,这样对每个学习器来看都进行了欠采样,但在全局来看不会丢失信息。

过采样:不能简单的对初始样本进行重复采样,否则会招致严重的过拟合。代表性算法SMOTE,对训练集里的样本进行插值产生额外样本。

阈值移动:直接基于原始训练集进行学习,但在用训练好的分类器进行预测时,将式(1)嵌入决策过程中。

解决这类问题主要分重采样、欠采样、调整权值 

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值