【Smooth L1 Loss】Smooth L1损失函数理解

1 引言

目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。

Bounding Box Regression Loss Function的演进路线是：
Smooth L1 Loss --> IoU Loss --> GIoU Loss --> DIoU Loss --> CIoU Loss

本文介绍L1 loss、L2 loss以及Smooth L1 Loss。

2 L1 Loss

• 公式：
  
  当假设 x 为预测框和真实框之间的数值差异时，公式变为：

$$L_1=|x|$$

• 导数：
  
• 特点：
  L1 loss在零点处不平滑，学习慢；
  $L_1$ 损失函数对 x 的导数为常数，训练后期，x 很小时，如果学习率不变，损失函数会在稳定值附近波动，很难收敛到更高的精度。(这句话可能得想一下才能懂)

3 L2 Loss

• 公式：
  
  当假设 x 为预测框和真实框之间的数值差异时，公式变为：

$$L_1=x^2$$

• 导数：
  
• 特点
  L2 loss由于是平方增长，因此学习快。
  $L_2$ 损失函数对 x 的导数为2x，当 x 很大的时候，导数也很大，使 $L_2$ 损失 在 总loss 中占据主导位置，进而导致，训练初期不稳定。

4 Smooth L1 Loss

由微软rgb大神在 Fast RCNN论文提出该方法。

• 公式：假设 x 为预测框和真实框之间的数值差异
  
• 导数：
  
• 特点：
  Smooth L1 Loss 相比L1 loss 改进了零点不平滑问题。
  相比于L2 loss，在 x 较大的时候不像 L2 对异常值敏感，是一个缓慢变化的loss。

5 曲线对比分析

实际目标检测框回归位置任务中的损失loss为：

三种loss的曲线如下图所示，可以看到Smooth L1相比L1的曲线更加的Smooth。

存在的问题：

• 三种Loss用于计算目标检测的Bounding Box Loss时，独立的求出4个点的Loss，然后进行相加得到最终的Bounding Box Loss，这种做法的假设是4个点是相互独立的，实际是有一定相关性的
• 实际评价框检测的指标是使用IoU，而IoU和Smooth L1是不等价的，多个检测框可能有相同大小的Smooth L1 Loss，但IoU可能差异很大，为了解决这个问题就引入了IoU Loss。

再后面学习参考链接：

https://zhuanlan.zhihu.com/p/104236411

6 参考链接

https://zhuanlan.zhihu.com/p/104236411
https://blog.csdn.net/qq_33278461/article/details/100752896