公式1,CrossEntropy Loss;
公式2,使用一个新的变量代替
;
公式3,引入参数,可以用作调节样本数量的权重,更大的
赋予样本数量少的类别更大的权重;让损失函数不受样本数量过多的类别影响;
公式4,引入参数,可以用作调节样本难易的权重,更大的
可以拉开困难样本与容易样本之间的权重距离;让损失函数关注更多困难样本的损失;
公式5,Focal Loss的表达式,既考虑样本数量,又考虑样本难易程度;
总结:
1、:赋予难样本更高的权重,拉开难样本与易样本损失的距离,防止模型退化;
2、:赋予数量少的样本更高的权重,防止数量多的样本损失占比太大,加速模型收敛;
论文中提出=2,
=0.25配置时最优,就是说调整完难易程度之后,让正例数量与负例数量的比例为1:3最好;即负例中的难样本较少,需要调高负例数量权重——
变小;