Focal Loss for Dense Object Detection

Focal Loss 图

CE ：Cross Entropy

FL :Focal Loss 

该loss 解决的问题：解决数据不平衡问题。 

因为 （1-pt)r 对Loss有缩放作用，使 解近正确好分的样本的 Loss值接近于0，从而减小反向梯度的传播。即使某一类有很多容易区分的样本也不会使 模型有太多偏移。

Focal Loss 的形式不是唯一的，只要满足上面的缩放原理 都可作为 Focal Loss 的一种。

 

目标检测 结果对比

橙色的线和 紫色的线分别是 Focal Loss RetinaNet-100 和 RetinaNet-50 的效果图，AP 值看起来 好于

之前的 单次预测 网络。

相反，我们的焦点损失不是解决异常值，而是通过降低异常值(简单的例子)的权重来解决类不平衡问题，即使它们的数量很大，它们对总损失的贡献也很小。换句话说，焦点丢失扮演了与鲁棒丢失相反的角色:它将训练集中在一组稀疏的硬例子上。

 

 

在我们的主要实验结果中，我们使用了上面的焦损耗定义，它的精确形式并不重要。在附录中，我们考虑了焦点丢失的其他实例，并证明了它们可以同样有效 

 

类不平衡和两级探测器

二级探测器通常训练有素的交叉熵的损失没有使用α-balancing和我们提出的损失。
相反，他们通过两种机制来解决阶级失衡问题:
(1)两级级联 （R-CNN, Fast-Rcnn, Faster-Rcnn）

(2)偏置小批量采样。

第一个:级联阶段是一个对象建议机制，它将几乎无限的对象位置集减少到1到2000个。
重要的是，所选择的建议不是随机的，但可能与真正的对象位置相对应，从而消除了绝大多数简单的缺点。
在训练第二阶段时，有偏差的抽样通常被用来构造小批量，例如，一个1:3的比例的积极和消极的例子。这个比例是一个隐式的α-通过采样实现平衡因素。我们提出的焦损耗是设计来解决这些机制在一个一级检测系统直接通过损失函数。

 

In general α should be decreased slightly as γ is increased (for γ = 2, α = 0.25 works best).