Softmax 与交叉熵损失函数的反向传播公式推导

Softmax 与交叉熵损失函数的反向传播公式推导

一、正向传播

用一个 X 举例，假设 S 为最后一层全连接层的输出，S 是一个长度为 c 的行向量，其中元素的含义为 c 个类分别的得分，即 $s_1$ 为 X 在第一个类的得分，以此类推。
S = { s 1 ,   s 2 ,   s 3 ,   … ,   s c } (1) \huge S=\{s_1,\ s_2,\ s_3,\ \dots,\ s_c\}\tag{1} S={s1​, s2​, s3​, …, sc​}(1)

然后将 S 输入到 Softmax，输出一个长度为 c 的行向量 P，其中元素为各类别的概率。
P = { p 1 ,   p 2 ,   p 3 ,   … ,   p c } (2) \huge P=\{p_1,\ p_2,\ p_3,\ \dots,\ p_c\}\tag{2} P={p1​, p2​, p3​, …, pc​}(2)

Softmax 每个元素的计算公式:
$$p_i=\frac{e^{s_i}}{\sum _{j=1}^c{e}^{s_j}}=\frac{e^{s_i}}{e^{s_1}+e^{s_2}+e^{s_3}+\cdots +e^{s_c}}\text{\hspace{1em}(3)}$$

Loss function 为交叉熵损失函数，输入为 P 和真实标签 Y，Y也是一个长度为 c 的行向量。多数情况下对于分类问题，Y 会是一个 one-hot 向量，即 Y 中只有一个元素为 1，其余元素都为 0，其中 1 的下标表示 X 的类别。此文过程中先考虑复杂的情况，即 Y 中可能有多个小于 1 的元素，或者干脆假设 Y 中每个元素都是 1/c。本文末尾再给出 Y 为 one-hot 向量的简单情况。

下面为交叉熵损失函数的公式：
$$\begin{gathered} Loss=-\sum _{j=1}^c{y}_j\ln p_j \\ =-y_1\ln p_1-y_2\ln p_2-y_3\ln p_3-\cdots -y_c\ln p_c(4) \end{gathered}$$

二、反向传播

我们要求的误差项如下：
∂ L ∂ S = { ∂ L ∂ s 1 ,   ∂ L ∂ s 2 ,   ∂ L ∂ s 3 ,   … ,   ∂ L ∂ s c } (5) \huge \frac{\partial L}{\partial S}=\{\frac{\partial L}{\partial s_1},\ \frac{\partial L}{\partial s_2},\ \frac{\partial L}{\partial s_3},\ \dots,\ \frac{\partial L}{\partial s_c}\}\tag{5} ∂S∂L​={∂s1​∂L​, ∂s2​∂L​, ∂s3​∂L​, …, ∂sc​∂L​}(5)

我们计算其中任意一个元素，比如第三个 $\frac{\partial L}{\partial s_3}$：

这里需要注意，由公式（4）可以看到 L 会受到 $p_1$ 到 $p_c$ 的影响，而看公式（3），每一个 $p$ 的分母都包含了 $s_3$，所以下面这个公式需要包含从 $s_3$ 到每一个 $p$ 再到 L 的路径。
$$\begin{gathered} \frac{\partial L}{\partial s_3}=\sum _{j=1}^c\frac{\partial L}{\partial p_j}\frac{\partial p_j}{\partial s_3} \\ =\frac{\partial L}{\partial p_1}\frac{\partial p_1}{\partial s_3}+\frac{\partial L}{\partial p_2}\frac{\partial p_2}{\partial s_3}+\frac{\partial L}{\partial p_3}\frac{\partial p_3}{\partial s_3}+\dots \frac{\partial L}{\partial p_c}\frac{\partial p_c}{\partial s_3}\text{\hspace{1em}(6)} \end{gathered}$$

这里面的项有两种情况（因为 $p_3$ 对 $s_3$ 求导与其他的 $p$ 对 $s_3$ 求导不一样），第一种情况为不含 $p_3$ 的项，例如第一项：
$$\frac{\partial L}{\partial p_1}=-y_1\frac{1}{p_1}\text{\hspace{1em}(7)}$$

$$\begin{gathered} \frac{\partial p_1}{\partial s_3}=\frac{\partial (\frac{e^{s_1}}{e^{s_1}+e^{s_2}+e^{s_3}+\cdots +e^{s_c}})}{\partial s_3} \\ =\frac{0\ast (e^{s_1}+e^{s_2}+e^{s_3}+\cdots +e^{s_c})-e^{s_1}\ast e^{s_3}}{(e^{s_1}+e^{s_2}+e^{s_3}+\cdots +e^{s_c}{)}^2} \\ =\frac{-e^{s_1}\ast e^{s_3}}{(e^{s_1}+e^{s_2}+e^{s_3}+\cdots +e^{s_c}{)}^2} \\ =-p_1\ast p_3\text{\hspace{1em}(8)} \end{gathered}$$

把（7）和（8）乘起来得到（6）中的第一项：
$$\begin{gathered} \frac{\partial L}{\partial p_1}\frac{\partial p_1}{\partial s_3}=(-y_1\frac{1}{p_1})\ast (-p_1\ast p_3) \\ =y_1{p}_3\text{\hspace{1em}(9)} \end{gathered}$$

第二种情况为（6）中的第三项：
$$\frac{\partial L}{\partial p_3}=-y_3\frac{1}{p_3}\text{\hspace{1em}(10)}$$

$$\begin{gathered} \frac{\partial p_3}{\partial s_3}=\frac{\partial (\frac{e^{s_3}}{e^{s_1}+e^{s_2}+e^{s_3}+\cdots +e^{s_c}})}{\partial s_3} \\ =\frac{e_3^s\ast (e^{s_1}+e^{s_2}+e^{s_3}+\cdots +e^{s_c})-e^{s_3}\ast e^{s_3}}{(e^{s_1}+e^{s_2}+e^{s_3}+\cdots +e^{s_c}{)}^2} \\ =p_3-(p_3{)}^2\text{\hspace{1em}(11)} \end{gathered}$$
把（10）和（11）乘起来得到（6）中的第三项：

$$\begin{gathered} \frac{\partial L}{\partial p_3}\frac{\partial p_3}{\partial s_3}=(-y_3\frac{1}{p_3})\ast (p_3-(p_3{)}^2) \\ =y_3{p}_3-y_3 \end{gathered}$$

故公式（6）也就等于：
$$\begin{gathered} \frac{\partial L}{\partial s_3}=y_1{p}_3+y_2{p}_3+(y_3{p}_3-y_3)+\cdots +y_c{p}_3 \\ =p_3\sum _{j=1}^c{y}_j-y_3\text{\hspace{1em}(12)} \end{gathered}$$
到这里我们也就得到了公式（5）中的第一项。

整理一下得到总的误差项：
∂ L ∂ S = { ∂ L ∂ s 1 ,   ∂ L ∂ s 2 ,   ∂ L ∂ s 3 ,   … ,   ∂ L ∂ s c } = { p 1 ∑ j = 1 c y j − y 1 ,   p 2 ∑ j = 1 c y j − y 2 ,   p 3 ∑ j = 1 c y j − y 3 ,   … ,   p c ∑ j = 1 c y j − y c } \huge \frac{\partial L}{\partial S}=\{\frac{\partial L}{\partial s_1},\ \frac{\partial L}{\partial s_2},\ \frac{\partial L}{\partial s_3},\ \dots,\ \frac{\partial L}{\partial s_c}\}\\ \large =\{p_1\sum\limits_{j=1}^{c}y_j-y_1,\ p_2\sum\limits_{j=1}^{c}y_j-y_2,\ p_3\sum\limits_{j=1}^{c}y_j-y_3,\ \dots,\ p_c\sum\limits_{j=1}^{c}y_j-y_c\} ∂S∂L​={∂s1​∂L​, ∂s2​∂L​, ∂s3​∂L​, …, ∂sc​∂L​}={p1​j=1∑c​yj​−y1​, p2​j=1∑c​yj​−y2​, p3​j=1∑c​yj​−y3​, …, pc​j=1∑c​yj​−yc​}
最后来考虑常见的简单情况，即 Y 为 one-hot 向量时，假设 $y_i$ 为1，其余元素都为 0，此时的 $\frac{\partial L}{\partial S}$ 为:
∂ L ∂ S = { p 1 y i ,   p 2 y i ,   p 3 y i ,   … ,   p i y i − y i ,   … ,   p c y i } = { p 1 ,   p 2 ,   p 3 ,   … ,   p i − 1 ,   … ,   p c } = P − Y (14) \huge \frac{\partial L}{\partial S} \huge =\{p_1y_i,\ p_2y_i,\ p_3y_i,\ \dots,\ p_iy_i-y_i,\ \dots,\ p_cy_i\}\\ \huge =\{p_1,\ p_2,\ p_3,\ \dots,\ p_i-1,\ \dots,\ p_c\}\\ \huge =P-Y\tag{14} ∂S∂L​={p1​yi​, p2​yi​, p3​yi​, …, pi​yi​−yi​, …, pc​yi​}={p1​, p2​, p3​, …, pi​−1, …, pc​}=P−Y(14)

done