如何理解Focal Loss

论文链接：https://arxiv.org/abs/1708.02002

1. 动机
   为了解决目标检测中正负样本比例严重失衡的问题，且能更关注于困难样本的学习，使得模型效果更鲁棒。

2. 从二分类交叉熵损失函数说起
   
   其中y’是经过激活函数后的输出值，常用激活函数sigmoid，故值范围为（0，1）
   分析损失函数，若是正样本，输出概率越大，损失越小；若是负样本，输出概率越小损失越小，但函数默认完全均匀同分布效果最佳，现实样本往往达不到。

3. Focal Loss
   
   分析第一个因子γ，作用是减少简单样本的损失，增加困难样本的损失权重，使得训练更加注重于困难样本。
   若是正样本，预测值y’为0.9时，经过γ次方，损失会降得特别小。而反过来，若本身是正样本而预测值只有0.3，经过γ次方后损失就会大很多。
   若是负样本，预测值接近于0的比预测值远离0的损失函数数值也会增大很多。
   
   分析第二个因子α，所谓的平衡因子，为了平衡样本之间的比例不均问题。
   

4. 结论
   作者在做了一系列实验之后，α取值0.25 γ取值2时效果较好，每个网络可以自己尝试选择不同的超参数，应用于样本不均且难易程度不同样本的学习训练中。