交叉熵损失函数求导与Softmax函数求导
前情提要
在做单分类的时候,一般模型的最后一层是线性层Linear
做分类器,输出在每个标签上的logits
。损失函数为交叉熵损失函数,会对logits
进行Softmax
之后累计损失。
为了理论基础和严谨,复习下求导运算。
交叉熵损失函数
交叉熵函数在pytorch上的详细原理与实验验证请见博客:【pytorch】交叉熵损失函数 F.cross_entropy()。
交叉熵损失函数公式如公式(1)所示:
L = − ∑ i N l a b e l i × ln a i \begin{align}L = -\sum_{i}^N label_i \times \ln a_i\end{align} L=−i∑Nlabeli×lnai
其中,
l
a
b
e
l
i
label_i
labeli是真实标签,也就是标签的one-hot
编码,是一维常量。
a
i
a_i
ai是经过了Softmax
的概率logits
,是一维向量。累计计算
N
N
N个样本的值,即可得到最终结果。
a i a_i ai计算公式如公式(2)公式(3):
a i = S o f t m a x ( z i ) = e z i ∑ k M e z k \begin{align} a_i &= Softmax(z_i) \\ &= \frac {e^{z_i}} {\sum_{k}^M e^{z_k}} \end{align} ai=Softmax(zi)=∑kMezkezi
其中,
z
i
z_i
zi是全连接层的输出logits
中的第
i
i
i个,是一维向量。
对Softmax函数求导
因为交叉熵损失函数中包含了Softmax
函数,所以先求导Softmax
。
对于公式(3),输入
z
i
z_i
zi是全连接层的输出logits
中的第
i
i
i个,所以我们对
z
i
z_i
zi求导。但是因为Softmax
公式的的分母包含了所有元素,所以为了方便计算,我们搞一个新变量,对
z
j
z_j
zj求导。
观察公式(3)的形状可知,Softmax
函数是形如
g
(
x
)
h
(
x
)
\frac{g(x)}{h(x)}
h(x)g(x)的函数,它的求导公式如公式(4)所示:
∂ a i ∂ z j = g ′ ( x ) h ( x ) − h ′ ( x ) g ( x ) h 2 ( x ) \begin{align} \frac{\partial a_i}{\partial z_j} = \frac{g'(x)h(x) - h'(x)g(x)}{h^2(x)} \end{align} ∂zj∂ai=h2(x)g′(x)h(x)−h′(x)g(x)
所以要得到Softmax
的导数只需要知道
e
z
i
e^{z_i}
ezi与
∑
e
z
k
\sum e^{z_k}
∑ezk的导数即可。
·当
i
=
j
i=j
i=j时,
e
z
i
e^{z_i}
ezi对
z
j
z_j
zj求偏导结果为
e
z
i
e^{z_i}
ezi或者
e
z
j
e^{z_j}
ezj都可以,因为
i
=
j
i=j
i=j;
·当
i
≠
j
i \not= j
i=j时,
e
z
i
e^{z_i}
ezi对
z
j
z_j
zj求偏导结果为0,因为此刻
z
i
z_i
zi和
z
j
z_j
zj是两个不同的变量,所以求导为0;
·
∑
e
z
k
\sum e^{z_k}
∑ezk对
z
j
z_j
zj求偏导结果为
e
z
k
e^{z_k}
ezk,因为求和项里面总有一个
e
z
k
e^{z_k}
ezk。
于是当
i
=
j
i=j
i=j时,Softmax
公式求导过程如公式(5):
∂ a i ∂ z j = ∂ e z i ∑ e z k ∂ z j = e z i ⋅ ∑ e z k − e z i ⋅ e z j ( ∑ e z k ) 2 = e z i ∑ e z k − e z i ∑ e z k ⋅ e z j ∑ e z k = a i ( 1 − a j ) (5) \begin{split} \frac{\partial a_i}{\partial z_j} &= \frac{\partial \frac{e^{z_i}}{\sum e^{z_k}}}{\partial z_j} \\ &= \frac{e^{z_i} \cdot \sum e^{z_k} - e^{z_i} \cdot e^{z_j} }{(\sum e^{z_k})^2} \\ &= \frac{e^{z_i}}{\sum e^{z_k}} - \frac{e^{z_i}}{\sum e^{z_k}} \cdot \frac{e^{z_j}}{\sum e^{z_k}} \\ &=a_i(1 - a_j) \end{split} \tag{5} ∂zj∂ai=∂zj∂∑ezkezi=(∑ezk)2ezi⋅∑ezk−ezi⋅ezj=∑ezkezi−∑ezkezi⋅∑ezkezj=ai(1−aj)(5)
当
i
≠
j
i \not= j
i=j时,Softmax
公式求导过程如公式(6):
∂ a i ∂ z j = ∂ e z i ∑ e z k ∂ z j = 0 ⋅ ∑ e z k − e z i ⋅ e z j ( ∑ e z k ) 2 = − e z i ∑ e z k ⋅ e z j ∑ e z k = − a i a j (6) \begin{split} \frac{\partial a_i}{\partial z_j} &= \frac{\partial \frac{e^{z_i}}{\sum e^{z_k}}}{\partial z_j} \\ &= \frac{0\cdot \sum e^{z_k} - e^{z_i} \cdot e^{z_j} }{(\sum e^{z_k})^2} \\ &= - \frac{e^{z_i}}{\sum e^{z_k}} \cdot \frac{e^{z_j}}{\sum e^{z_k}} \\ &= -a_ia_j \end{split} \tag{6} ∂zj∂ai=∂zj∂∑ezkezi=(∑ezk)20⋅∑ezk−ezi⋅ezj=−∑ezkezi⋅∑ezkezj=−aiaj(6)
对交叉熵损失函数求导
对交叉熵损失函数求导可以一直顺利的求到分类讨论前,如公式(7)所示。其中 l a b e l i label_i labeli是常数,所以提出来了。
∂ L ∂ z j = ∂ L ∂ a i ∂ a i ∂ z j = − l a b e l i ∂ ( ∑ ln a i ) ∂ a i ∂ a i ∂ z j = − l a b e l i ( ∑ 1 a i ) ∂ a i ∂ z j (7) \begin{split} \frac{\partial L}{\partial z_j} &= \frac{\partial L}{\partial a_i}\frac{\partial a_i}{\partial z_j} \\ &= -label_i \frac{\partial (\sum \ln a_i)}{\partial a_i} \frac{\partial a_i}{\partial z_j} \\ &= -label_i (\sum\frac{1}{a_i}) \frac{\partial a_i}{\partial z_j} \\ \end{split} \tag{7} ∂zj∂L=∂ai∂L∂zj∂ai=−labeli∂ai∂(∑lnai)∂zj∂ai=−labeli(∑ai1)∂zj∂ai(7)
接下来分类讨论:
·当 i = j i=j i=j时:
= − l a b e l i 1 a i a i ( 1 − a j ) = − l a b e l i ( 1 − a j ) (8) =-label_i \frac{1}{a_i}a_i(1 - a_j)=-label_i (1 - a_j)\tag{8} =−labeliai1ai(1−aj)=−labeli(1−aj)(8)
·当 i ≠ j i \not= j i=j时:
= − l a b e l i ∑ i ≠ j 1 a i ( − a i a j ) = l a b e l i ∑ i ≠ j a j (9) =-label_i \sum_{i \not= j} \frac{1}{a_i} (-a_ia_j) = label_i \sum_{i \not= j} a_j\tag{9} =−labelii=j∑ai1(−aiaj)=labelii=j∑aj(9)
然后就会发现式(8)和式(9)相加就会把式(9)少的那个 a j a_j aj拼回去,于是式(7)最终求导为:
∂ L ∂ z j = ∂ L ∂ a i ∂ a i ∂ z j = − l a b e l i ∂ ( ∑ ln a i ) ∂ a i ∂ a i ∂ z j = − l a b e l i ( ∑ 1 a i ) ∂ a i ∂ z j = − l a b e l i [ 1 − a j − ∑ i ≠ j a j ] = l a b e l i [ ∑ a j − 1 ] = l a b e l i ∑ a j − l a b e l i (10) \begin{split} \frac{\partial L}{\partial z_j} &= \frac{\partial L}{\partial a_i}\frac{\partial a_i}{\partial z_j} \\ &= -label_i \frac{\partial (\sum \ln a_i)}{\partial a_i} \frac{\partial a_i}{\partial z_j} \\ &= -label_i (\sum\frac{1}{a_i}) \frac{\partial a_i}{\partial z_j} \\ &= -label_i [1 - a_j- \sum_{i \not= j} a_j] \\ &= label_i [\sum a_j - 1] \\ &= label_i \sum a_j - label_i \\ \end{split} \tag{10} ∂zj∂L=∂ai∂L∂zj∂ai=−labeli∂ai∂(∑lnai)∂zj∂ai=−labeli(∑ai1)∂zj∂ai=−labeli[1−aj−i=j∑aj]=labeli[∑aj−1]=labeli∑aj−labeli(10)