【样本不均衡】

类别的不同比例的影响

论文1用浅层CNN在CIFAR-10数据集上通过设计类别的不同比例:
在这里插入图片描述
作者发现,样本数量的差异会对模型的性能影响很大。比如Dist.5情况中,除airplane外其它类别几乎识别不到。
在这里插入图片描述

类样本均衡解决还会面临难易样本不均衡造成易样本支配问题

因为存在Hard example,有的类别样本比较困难,而且它的loss又淹没在大多数分类比较准确的类别的loss中,即easy example dominant问题。

OHEM 思路将注意力转移到loss上,大概思路就是当分类器学习多个epoch即将收敛的时候,example的“难”和“易”都能反映在loss的大小上,所以当loss小的时候就意味着分类器对此类别的精度较理想,不做BP,当loss较大的时候意味着hard example来了,做BP。优美,但不够完美。Hard skill。

focal_loss将predictions作为example的难易反馈整合到loss中,在每次迭代中都能够自适应地鉴别样本的“难”还是“易”

解决正负样本不均衡上,
一个普遍解决类别不平衡的方法是增加权重参数α∈[0,1]α 被设成逆类别频率(inverse class frequence)

在这里插入图片描述
因此,α−balancedα−balanced 的CE损失函数为**加粗样式
**

尽管α能平衡positive/negative的重要性,但是无法区分简单easy/困难hard样本。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值