正负样本数不均衡——Focal Loss

公式1,CrossEntropy Loss;

公式2,使用一个新的变量p_t代替p

公式3,引入\alpha参数,可以用作调节样本数量的权重,更大的\alpha赋予样本数量少的类别更大的权重;让损失函数不受样本数量过多的类别影响;

公式4,引入\gamma参数,可以用作调节样本难易的权重,更大的\gamma可以拉开困难样本与容易样本之间的权重距离;让损失函数关注更多困难样本的损失;

公式5,Focal Loss的表达式,既考虑样本数量,又考虑样本难易程度;

 

总结:

1、\gamma:赋予难样本更高的权重,拉开难样本与易样本损失的距离,防止模型退化;
2、\alpha:赋予数量少的样本更高的权重,防止数量多的样本损失占比太大,加速模型收敛;

论文中提出\gamma=2,\alpha=0.25配置时最优,就是说调整完难易程度之后,让正例数量与负例数量的比例为1:3最好;即负例中的难样本较少,需要调高负例数量权重——\alpha变小;

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值