Softmax 以及 交叉熵损失函数 的求导

Ouput layer & 代价函数

网络结构

Output later 有K个神经元，有K个输入和输出。为了分别标记输入和输出，用$a_{i\in[1,K]}$来表示Output layer的输入数据，$y_{j\in[1,K]}$来表示Output layer输出点数据。每个输入数据$a_{i\in[1,K]}$和隐藏层的H个块之间是全连接的。

输入和输出数据

• 每个Output layer层的输入数据是$a_{i}=\sum^{H}_{h=1}w_{hi}b_{h}$。
• 当使用softmax输出函数的时候，每个Output layer层的输出数据就为$y_{j}=\frac{e^{a_j}}{\sum^{K}_{j'=1}{e^{a_{j'}}}}$。
• 当使用交差熵代价函数的时候$\mathcal{L}(x,z)=-\sum^{K}_{j=1}z_jln{y_j}$ ，这里$z_j$是各个输出点的目标分类结果，在训练数据中已经给出来了。

求导数

这里要求的是代价函数对每个输入数据的导数$\delta_{i}=\frac{\partial \mathcal{L}(x,z)}{\partial a_i}$。在反向传播中$\delta_{i}$会传播给后续网络。

首先复习一下会用到的基本的微积分知识：

$$(uv)'=u'v+uv'\\ ln(x)'=\frac{1}{x}$$

交叉熵的导数：

对于任意一个输出$y_j$的导数

$$\begin{aligned} \frac{\partial\mathcal{L}(x,z)}{\partial y_j} &= \frac{\partial -\sum^{K}_{j'=1}z_{j'}lny_{j'}}{\partial y_j} \\ &=-\frac{z_j }{y_j} & 当j' \neq j时，该项对于y_j的微分为0。&\\ &&因此只需要求j'=j项时的导数 \\ && 此时有： \frac{\partial z_{j} ln y_{j}}{\partial y_j}=\frac{z_{j}}{y_{j}} \end{aligned}$$

Softmax函数的导数：

首先准备一下在计算时会反复用到的部分：

$$\begin{aligned} \frac{\partial{\frac{1}{\sum^{K}_{j'=1}e^{a_{j'}}}}}{\partial{a_j}}&=\frac{\partial{\frac{1}{\sum^{K}_{j'=1}e^{a_{j'}}}}}{\partial \sum^{K}_{j=1}e^{a_{j'}}}\frac{\partial \sum^{K}_{j'=1}e^{a_{j'}}}{\partial a^{j}} && 根据链式法则，把复杂的函数分解成复合函数，\\ &&&然后可以对其分别求导数\\ &=-\frac{1}{{(\sum^{K}_{j'=1}e^{a_{j'}})}^2}\frac{\partial \sum^{K}_{j=1}e^{a_{j'}}}{\partial a^{j}} && \sum^{K}_{j'=1}e^{a_{j'}} 可以分解为 \sum_{j' \neq j}e^{a_{j'}} + e^{a_j}\\ &&&其对e^{a_j}的导数就是e^{a_j} \\ &=-\frac{1}{{(\sum^{K}_{j'=1}e^{a_{j'}})}^2}e^{a_j} \end{aligned}$$
在求导数时，根据i和j是否相等分开进行讨论：
当i=j时，求导数公式如下：
$$\begin{aligned} \frac{\partial{\frac{e^{a_i}}{\sum^{K}_{j=1}e^{a_j}}}}{\partial a_{i}} &=\frac{\partial e^{a_i}}{\partial e^{a_i}}\frac{1}{\sum^{K}_{j'=1}e^{a_{j'}}} + e^{a_{i}}\frac{\partial {\frac{1}{\sum^{K}_{j'=1}e^{a_{j'}}}}}{\partial a^{i}} && 根据(uv)'=u'v + uv'，\\ &&&把函数拆成两个部分分别求导数\\ &=e^{a_i}\frac{1}{\sum^{K}_{j'=1}e^{a_{j'}}} + e^{a_i}(-\frac{1}{{(\sum^{K}_{j'=1}e^{a_{j'}})}^2}e^{a_i}) \\ &=\frac{e^{a_i}}{\sum^{K}_{j'=1}e^{a_{j'}}}(1-\frac{e^{a_i}}{\sum^{K}_{j'=1}}) && 由softmax定义，y_i= \frac{e^{a_i}}{\sum^{K}_{j'=1}e^{a_{j'}}}\\ &=y_i(1-y_i) \end{aligned}$$
$i\neq j$的求导数公式如下:
$$\begin{aligned} \frac{\partial{\frac{e^{a_j}}{\sum^{K}_{j'=1}e^{a_{j'}}}}}{\partial a_{i}} &= e^{a_j}\frac{\partial{\frac{1}{\sum^{K}_{j'=1}e^{a_{j'}}}}}{\partial {e_a{i}}} && e^{a_j} 不受e^{a_i}影响，是个常数\\ &=e^{a_j}(-\frac{1}{{(\sum^{K}_{j'=1}e^{a_{j'}})}^2}e^{a_i}) \\ &=\frac{e^{a_j}}{\sum^{K}_{j=1}e^{a_{j'}}}\frac{e^{a_i}}{\sum^{K}_{j'=1}e^{a_{j'}}}\\ &=-y_{j}y_{i} \end{aligned}$$

输出层的梯度$\delta_{i}$的推导

$\mathcal {L}$受所有的输出数据$y_j$影响，而任意一个输入数据$a_i$会影响到所有的输出数据$y_j$,因此在$\mathcal {L}$ 对任意一个$a_i$求导数时，要把所有的$y_j$的导数都传递给$a_i$，并把它们累加起来。

$$\begin{aligned} \delta_{i}&=\frac{\partial \mathcal{L}}{\partial a_i}\\ &=\frac{\partial \mathcal{L}}{\partial y_1}\frac{\partial y_1}{\partial a_i} + \frac{\partial \mathcal{L}}{\partial y_2}\frac{\partial y_2}{\partial a_i}+\dots+\frac{\partial \mathcal{L}}{\partial y_j}\frac{\partial y_j}{\partial a_i}+\dots+\frac{\partial \mathcal{L}}{\partial y_K}\frac{\partial y_K}{\partial a_i}\\ &=\sum^{K}_{j=1}\frac{\partial \mathcal{L}}{\partial y_j}\frac{\partial y_j}{\partial a_i}\\ &=\sum^{K}_{j \neq i}\frac{\partial \mathcal{L}}{\partial y_j}\frac{\partial y_j}{\partial a_i} + \frac{\partial \mathcal{L}}{\partial y_i}\frac{\partial y_i}{\partial a_i} && 根据i和j是否相等分开进行讨论 \end{aligned}$$

当$i\neq j$时：

$$\begin{aligned} \sum^{K}_{j \neq i}\frac{\partial \mathcal{L}}{\partial y_j}\frac{\partial y_j}{\partial a_i} &= \sum^{K}_{j \neq i}[-\frac{z_j}{y_j}(-y_i y_j)] \end{aligned}$$

当i=j时：

$$\begin{aligned} \frac{\partial \mathcal{L}}{\partial y_i}\frac{\partial y_i}{\partial a_i} &= -\frac{z_i}{y_i}[y_i(1-y_i)] \end{aligned}$$

把这两个部分加起来：

$$\begin{aligned} \delta_{i}&=\frac{\partial \mathcal{L}}{\partial a_i}\\ &=\sum^{K}_{j \neq i}\frac{\partial \mathcal{L}}{\partial y_j}\frac{\partial y_j}{\partial a_i} + \frac{\partial \mathcal{L}}{\partial y_i}\frac{\partial y_i}{\partial a_i} && 根据i和j是否相等分开进行讨论 \\ &=\sum^{K}_{j \neq i}[-\frac{z_j}{y_j}(-y_i y_j)] + \{ -\frac{z_i}{y_i}[y_i(1-y_i)]\} &&把上面两个部分代入 \\ &=y_{i}\{ \sum^{K}_{j \neq i}[-\frac{z_j}{y_j}(- y_j)] - \frac{z_i}{y_i}(1-y_i)\} && 提取公因数 y_i \\ &=y_{i}\{ \sum^{K}_{j \neq i}{z_j} - \frac{z_i}{y_i}+z_i\} \\ &=y_{i}（1-\frac{z_i}{y_i}）&& 由于z_j是个概率函数，因此所有的z_j的和是1。\\ &&&\sum^{K}_{j \neq i}{z_j} +z_i = 1\\ &=y_i-z_i \end{aligned}$$