Softmax函数交叉熵及其求导

1. 简介

---

$Softmax$ 函数

$Softmax$ 函数在神经网络分类是十分常用的函数，如下所示，在神经元output layer中，可以输出一个$R^4$ 维度的向量，来进行分类，例如输出层为向量 $O=[0.2,0.1,0.4,0.3]$, 可根据向量中元素大小（元素之和为1）来判断该输入（可以是图片，也可以是文字）属于哪一类，而在这种分类的情况中，$Softmax$ 函数就起到了十分重要的作用。

$Softmax$ 函数的公式为：$a_i=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}$

其中，$a_i$ 为第 $i$ 个神经元经过$Softmax$ 函数得到的值，$z_i$ 为第 $i$ 个神经元的输出值，其计算公式为 $ z_{i}=W_{i}*x+ b $ $(W_{i}为权重矩阵W_{ij} 的第i行)。 $

代价函数交叉熵

为了计算损失函数，我们使用交叉熵代价函数，有 $Loss=-{\sum }_i^n{y}_{i}log{a}_i$

其中 $y_i$ 代表第$a_i$ 个输出的真实值。

2. Softmax函数交叉熵的求导

---

1）
对于Softmax函数的求导，用得最多的应该是链式法则，对于链式法则，举个例子如下：

设我们有函数 $g(f(x))$, 则$\frac{\partial g(f(x))}{\partial x}=\frac{\partial g(f(x))}{\partial f(x)}$$\frac{\partial f(x)}{\partial x}$， 这就是链式法则。

2）
对于交叉熵函数求导，首先，我们要求导的是交叉熵对神经元输出的梯度： $\frac{\partial L}{\partial z_i}$

根据链式法则，我们有：$\frac{\partial L}{\partial z_i}=\frac{\partial L}{\partial a_j}$$\frac{\partial a_j}{\partial z_i}$

其中, 使用 $a_j$ 是因为对$Softmax$函数包含了所有神经网络输出的和，即 a i = e z i ∑ j = 1 n e z j a_{i} = \frac{e^{z_{i}}}{\sum^{n}_{j=1}e^{z_{j}}} ai​=∑j=1n​ezj​e