Focal loss

为什么提出focal foss

是因为先验框，对于一阶段目标检测器，存在非常多的先验框，因为它会将输入的图片划分为不同大小的网格，然后网格里包括很多先验框。比如SSD，包含了8732个先验框，但是只有五六个先验框真实包含目标，即正样本，所以导致了正负样本非常不平衡，SSD采取的方法控制正负样本的比例，使为1:3，有一定效果，但有待改进。Focal loss提出利用权重来控制正负样本。

什么是Focal loss

Focal loss是何恺明大神提出的一种新的loss计算方案。
其具有两个重要的特点。

1、控制正负样本的权重

2、控制容易分类和难分类样本的权重

控制正负样本的权重
如下是常用的交叉熵loss，以二分类为例：

（y为实际标签值，p为预测值）

我们可以利用如下Pt简化交叉熵loss。

 此时：

想要降低负样本的影响，可以在常规的损失函数前增加一个系数αt。结构与Pt类似，当label=1的时候，αt=α；当label=otherwise的时候，αt=1 - α，a的范围也是0到1。此时我们便可以通过设置α实现控制正负样本对loss的贡献。

其中：

 假设α范围为0-0.5，代表可以降低正样本loss权重，增加负样本loss权重。α范围为0.5-1，代表可以增加正样本loss权重，减少负样本loss的权重。

分解开就是：

控制容易分类和难分类样本的权重
按照刚才的思路，一个二分类，样本1属于类别1的pt=0.9，样本2属于类别1的pt=0.6，也就是是某个类的概率越大，其越容易分类， 所以利用1-Pt就可以计算出其属于容易分类或者难分类。
具体实现方式如下。

 其中：

(1−pt​)γ

称为调制系数（modulating factor）

1、当pt趋于0的时候，调制系数趋于1，对于总的loss的贡献很大。当pt趋于1的时候，调制系数趋于0，也就是对于总的loss的贡献很小。
2、当γ=0的时候，focal loss就是传统的交叉熵损失，可以通过调整γ实现调制系数的改变。

两种权重控制方法合并
通过如下公式就可以实现控制正负样本的权重和控制容易分类和难分类样本的权重。

参考链接：https://blog.csdn.net/weixin_44791964/article/details/102853782