Focal loss的Pytorch实现

1.Focal Loss介绍

Focal loss是在CrossEntropy基础上进行改进的，主要解决了训练中正负样本和简单困难样本重要性不均衡的问题。首次提出是在论文《Focal Loss for Dense Object Detection》中，作者Kaiming He的出发点是想解决样本的类别不均衡导致的one-stage和two-stage的表现差异问题。

样本的不平衡将导致两个问题：1.训练难度上升，因为大部分的样本都是简单样本，很难从中学习到有用的信息；2.大量的某一类样本会使模型的学习能力下降。Focal loss通过在内部加权来解决类别不平衡问题：简单样本降低权重，正负样本按比例分配权重。

 

2.损失函数公式

Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失：

              

是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。

为了提高对更困难样本的关注，作者加入因子gamma。gamma=0时函数等价于交叉熵loss，gamma>0时对于易分类样本的损失将会更小，困难样本的损失会变大。例如gamma为2，对于正类样本而言，预