来写一个softmax求导的推导过程,不仅可以给自己理清思路,还可以造福大众,岂不美哉~
softmax经常被添加在分类任务的神经网络中的输出层,神经网络的反向传播中关键的步骤就是求导,从这个过程也可以更深刻地理解反向传播的过程,还可以对梯度传播的问题有更多的思考。
softmax 函数
softmax(柔性最大值)函数,一般在神经网络中, softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率,比如我有一个分类任务,要分为三个类,softmax函数可以根据它们相对的大小,输出三个类别选取的概率,并且概率和为1。
softmax函数的公式是这种形式:
S
i
=
e
z
i
∑
k
e
z
k
S_i = \frac{e^{z_i}}{\sum_k{e^{z_k}}}
Si=∑kezkezi
S
i
S_i
Si代表的是第i个神经元的输出。
ok,其实就是在输出后面套一个这个函数,在推导之前,我们统一一下网络中的各个表示符号,避免后面突然出现一个什么符号懵逼推导不下去了。
首先是神经元的输出,一个神经元如下图:
神经元的输出设为:
z
i
=
∑
j
w
i
j
x
i
j
+
b
z_i = \sum_j{w_{ij} x_{ij} + b}
zi=j∑wijxij+b
其中
w
i
j
w_{ij}
wij是第
i
i
i个神经元的第
j
j
j个权重,
b
b
b是偏移值。
z
i
z_i
zi表示该网络的第
i
i
i个输出。
给这个输出加上一个softmax函数,那就变成了这样:
a
i
=
e
z
i
∑
k
e
z
k
a_i = \frac{e^{z_i}}{\sum_k{e^{z_k}}}
ai=∑kezkezi
a
i
a_i
ai代表softmax的第i个输出值,右侧就是套用了softmax函数。
损失函数 loss function
在神经网络反向传播中,要求一个损失函数,这个损失函数其实表示的是真实值与网络的估计值的误差,知道误差了,才能知道怎样去修改网络中的权重。
损失函数可以有很多形式,这里用的是交叉熵函数,主要是由于这个求导结果比较简单,易于计算,并且交叉熵解决某些损失函数学习缓慢的问题。交叉熵的函数是这样的:
C
=
−
∑
i
y
i
ln
a
i
C = -\sum_i{y_i \ln {a_i}}
C=−i∑yilnai
其中
y
i
y_i
yi表示真实的分类结果。
到这里可能嵌套了好几层,不过不要担心,下面会一步步推导,强烈推荐在纸上写一写,有时候光看看着看着就迷糊了,自己边看边推导更有利于理解~
最后的准备
在我最开始看softmax推导的时候,有时候看到一半不知道是怎么推出来的,其实主要是因为一些求导法则忘记了,唉~
所以这里把基础的求导法则和公式贴出来~有些忘记的朋友可以先大概看一下:
推导过程
好了,这下正式开始~
首先,我们要明确一下我们要求什么,我们要求的是我们的loss对于神经元输出(
z
i
z_i
zi)的梯度,即:
∂
C
∂
z
i
\frac{\partial C}{\partial z_i}
∂zi∂C
根据复合函数求导法则:
∂
C
∂
z
i
=
∑
j
(
∂
C
j
∂
a
j
∂
a
j
∂
z
i
)
\frac{\partial C}{\partial z_i} = \sum_j{( \frac{\partial C_j}{\partial a_j} \frac{\partial a_j}{\partial z_i})}
∂zi∂C=j∑(∂aj∂Cj∂zi∂aj)
由于有些朋友对于之前的写法有些疑惑,所以我这里修改了一下,这里为什么是
a
j
a_j
aj而不是
a
i
a_i
ai,这里要看一下softmax的公式了,因为softmax公式的特性,它的分母包含了所有神经元的输出,所以,对于不等于i的其他输出里面,也包含着
z
i
z_i
zi,所有的
a
a
a都要纳入到计算范围中,并且后面的计算可以看到需要分为
i
=
j
i = j
i=j和
i
≠
j
i \neq j
i=j两种情况求导。
下面我们一个一个推:
∂
C
j
∂
a
j
=
∂
(
−
y
j
ln
a
j
)
∂
a
j
=
−
y
j
1
a
j
\frac{\partial C_j}{\partial a_j} = \frac{\partial (-y_j \ln {a_j})}{\partial a_j} = -y_j \frac{1}{a_j}
∂aj∂Cj=∂aj∂(−yjlnaj)=−yjaj1
第二个稍微复杂一点,我们先把它分为两种情况:
①如果
i
=
j
i = j
i=j:
∂
a
i
∂
z
i
=
∂
(
e
z
i
∑
k
e
z
k
)
∂
z
i
=
∑
k
e
z
k
e
z
i
−
(
e
z
i
)
2
(
∑
k
e
z
k
)
2
=
(
e
z
i
∑
k
e
z
k
)
(
1
−
e
z
i
∑
k
e
z
k
)
=
a
i
(
1
−
a
i
)
\frac{\partial a_i}{\partial z_i} = \frac{\partial ( \frac{e^{z_i}}{\sum_k{e^{z_k}}})} {\partial z_i}= \frac{\sum_k{e^{z_k}e^{z_i} - (e^{z_i})^2}}{(\sum_k{e^{z_k} })^2 } = ( \frac{e^{z_i}}{\sum_k{e^{z_k}}})(1 - \frac{e^{z_i}}{\sum_k{e^{z_k}}}) = a_i(1-a_i)
∂zi∂ai=∂zi∂(∑kezkezi)=(∑kezk)2∑kezkezi−(ezi)2=(∑kezkezi)(1−∑kezkezi)=ai(1−ai)
②如果
i
≠
j
i \neq j
i=j:
∂
a
j
∂
z
i
=
∂
(
e
z
j
∑
k
e
z
k
)
∂
z
i
=
−
e
z
j
(
1
∑
k
e
z
k
)
2
e
z
i
=
−
a
i
a
j
\frac{\partial a_j}{\partial z_i} = \frac{\partial ( \frac{e^{z_j}}{\sum_k{e^{z_k}}})} {\partial z_i} = -e^{z_j}(\frac{1}{\sum_k{e^{z_k}}})^2e^{z_i} = -a_ia_j
∂zi∂aj=∂zi∂(∑kezkezj)=−ezj(∑kezk1)2ezi=−aiaj
ok,接下来我们只需要把上面的组合起来:
∂
C
∂
z
i
=
∑
j
(
∂
C
j
∂
a
j
∂
a
j
∂
z
i
)
=
∑
j
≠
i
(
∂
C
j
∂
a
j
∂
a
j
∂
z
i
)
+
∑
i
=
j
(
∂
C
j
∂
a
j
∂
a
j
∂
z
i
)
\frac{\partial C}{\partial z_i} = \sum_j{( \frac{\partial C_j}{\partial a_j} \frac{\partial a_j}{\partial z_i})} = \sum_{j \neq i}{( \frac{\partial C_j}{\partial a_j} \frac{\partial a_j}{\partial z_i})} + \sum_{i =j}{( \frac{\partial C_j}{\partial a_j} \frac{\partial a_j}{\partial z_i})}
∂zi∂C=j∑(∂aj∂Cj∂zi∂aj)=j=i∑(∂aj∂Cj∂zi∂aj)+i=j∑(∂aj∂Cj∂zi∂aj)
=
∑
j
≠
i
−
y
j
1
a
j
(
−
a
i
a
j
)
+
(
−
y
i
1
a
i
)
(
a
i
(
1
−
a
i
)
)
=\sum_{j \neq i}{-y_j \frac{1}{a_j}(-a_ia_j)} + (-y_i \frac{1}{a_i})(a_i(1-a_i)) \quad\quad
=j=i∑−yjaj1(−aiaj)+(−yiai1)(ai(1−ai))
=
∑
j
≠
i
a
i
y
j
+
(
−
y
i
(
1
−
a
i
)
)
=\sum_{j \neq i}{a_iy_j} + (-y_i(1-a_i)) \quad\quad\quad\quad\quad\quad\quad\quad\quad
=j=i∑aiyj+(−yi(1−ai))
=
∑
j
≠
i
a
i
y
j
+
a
i
y
i
−
y
i
=\sum_{j \neq i}{a_iy_j} + a_iy_i - y_i \quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad
=j=i∑aiyj+aiyi−yi
=
a
i
∑
j
y
j
−
y
i
=a_i\sum_j{y_j} - y_i \quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\ \
=aij∑yj−yi
最后的结果看起来简单了很多,最后,针对分类问题,我们给定的结果
y
i
y_i
yi最终只会有一个类别是1,其他类别都是0,因此,对于分类问题,这个梯度等于:
∂
C
∂
z
i
=
a
i
−
y
i
\frac{\partial C}{\partial z_i} = a_i - y_i
∂zi∂C=ai−yi