作者：知乎用户
链接：https://www.zhihu.com/question/58200555/answer/621174180
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
为了从两个方面限制梯度：
- 当预测框与 ground truth 差别过大时，梯度值不至于过大；
- 当预测框与 ground truth 差别很小时，梯度值足够小。
考察如下几种损失函数，其中x为预测框与 groud truth 之间 elementwise 的差异：
L
2
(
x
)
=
x
2
(1)
L_2(x)=x^2 \tag{1}
L2(x)=x2(1)
L
1
(
x
)
=
∣
x
∣
(2)
L_1(x)=|x| \tag{2}
L1(x)=∣x∣(2)
s
m
o
o
t
h
L
1
(
x
)
=
{
0.5
x
2
i
f
∣
x
∣
<
1
∣
x
∣
−
0.5
o
t
h
e
r
w
i
s
e
(3)
smooth_{L_1}(x)=\begin{cases} 0.5x^2 & if |x|<1 \\ |x|-0.5 & otherwise \end{cases} \tag{3}
smoothL1(x)={0.5x2∣x∣−0.5if∣x∣<1otherwise(3)
损失函数对x的导数分别为：
d
L
2
(
x
)
d
x
=
2
x
(4)
\frac{dL_2(x)}{dx}=2x \tag{4}
dxdL2(x)=2x(4)
d
L
1
(
x
)
d
x
=
{
1
i
f
x
≥
0
−
1
o
t
h
e
r
w
i
s
e
(5)
\frac{dL_1(x)}{dx}=\begin{cases} 1 & if x \ge 0 \\ -1 & otherwise \end{cases} \tag{5}
dxdL1(x)={1−1ifx≥0otherwise(5)
d
s
m
o
o
t
h
L
1
(
x
)
d
x
=
{
x
i
f
∣
x
∣
<
1
±
1
o
t
h
e
r
w
i
s
e
(6)
\frac{dsmooth_{L_1}(x)}{dx}=\begin{cases} x & if |x|<1 \\ \pm 1 & otherwise \end{cases} \tag{6}
dxdsmoothL1(x)={x±1if∣x∣<1otherwise(6)
观察 (4)，当x增大时L2损失对x的导数也增大。这就导致训练初期，预测值与 groud truth 差异过于大时，损失函数对预测值的梯度十分大，训练不稳定。
根据方程 (5)，L1对x的导数为常数。这就导致训练后期，预测值与 ground truth 差异很小时，L1损失对预测值的导数的绝对值仍然为 1，而 learning rate 如果不变，损失函数将在稳定值附近波动，难以继续收敛以达到更高精度。
最后观察 (6)，smoothL1 在x较小时，对x的梯度也会变小，而在x很大时，对x的梯度的绝对值达到上限 1，也不会太大以至于破坏网络参数。smoothL1完美地避开了L1和L2损失的缺陷。其函数图像如下：
由图中可以看出，它在远离坐标原点处，图像和L1 loss 很接近，而在坐标原点附近，转折十分平滑，不像L1 loss 有个尖角，因此叫做 smooth L1 loss。
扫一扫
2040
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
