交叉熵+softmax的优势

交叉熵的一般形式是：
$$-\Sigma p\ast log(q)$$
其中p一般指的是真实情况概率(标签)，q指的是神经网络计算出的概率(结果)

为了一般化，这里特别规定好：
$$\begin{gathered} 输入的训练样本标签为Y：[Y_0,Y_1,...,Y_n] \\ 神经网络计算的结果为A：[A_0,A_1,...,A_n] \\ 交叉熵公式中对数的底数为e,此时log是ln \end{gathered}$$
令交叉熵(CrossEntropyLoss)=CELoss，其表达式为：
$$CELoss(A,Y)=-\sum _{i=0}^n{Y}_i\ast ln{A}_i$$
对交叉熵来说，样本标签Y并不是"变量"，可以看做常数，而神经网络的结果A才是输入的变量。和之前softmax的函数又不一样了，softmax是输入一个序列输出一个序列，这里是输入两个序列输出一个数字！
$$(\left[\begin{array}{c}{A}_0\\ A_1\\ A_2\\ .\\ .\\ .\\ A_n\end{array}\right]\&\left[\begin{array}{c}{Y}_0\\ Y_1\\ Y_2\\ .\\ .\\ .\\ Y_n\end{array}\right])=>CELoss(A,Y)=>\left[\begin{array}{c}-Y_0\ast ln{A}_0\\ -Y_1\ast ln{A}_1\\ -Y_2\ast ln{A}_2\\ .\\ .\\ .\\ -Y_n\ast ln{A}_n\end{array}\right]\}\sum =结果(某个确定的数值)$$
所以交叉熵的导数就是对这个"结果"所贡献的每个表达式的导数，如下：
$$\frac{\partial CELoss(A,Y)}{\partial A}=\left[\begin{array}{c}\frac{\partial L(A_0,Y_0)}{\partial A_0}\\ \frac{\partial L(A_1,Y_1)}{\partial A_1}\\ \frac{\partial L(A_2,Y_2)}{\partial A_2}\\ .\\ .\\ .\\ \frac{\partial L(A_n,Y_n)}{\partial A_n}\end{array}\right]={\left[\begin{array}{c}-Y_0\ast ln{A}_0\\ -Y_1\ast ln{A}_1\\ -Y_2\ast ln{A}_2\\ .\\ .\\ .\\ -Y_n\ast ln{A}_n\end{array}\right]}^{\prime }=\left[\begin{array}{c}-\frac{Y_0}{A_0}\\ -\frac{Y_1}{A_1}\\ -\frac{Y_2}{A_2}\\ .\\ .\\ .\\ -\frac{Y_n}{A_n}\end{array}\right]\}=-\frac{Y_i}{A_i}{|}_{i=0}^n$$
在深度学习中，如果是希望程序基于输入数据，给出一个置信度，比如MNIST的0-9，我希望给出十个概率，这十个概率加起来等于1，其中最大的概率对应的数字自然就是程序识别的结果了。这种情况我们就可以在神经网络最后一层使用softmax作为激活函数输出A，搭配CELoss作为损失函数了。

根据之前的文章，我们可以知道softmax函数及其导数是：
$$\begin{gathered} A(z_i)=\frac{e^{z_i}}{e^{z_0}+e^{z_1}+...+e^{z_n}}=\frac{e^{z_i}}{{\sum }_{j=0}^n{e}^{z_j}} \\ \frac{\partial A}{\partial z_i}=\{\begin{array}{l}{A}_i(1-A_i){|}_{i=j}\\ \\ {\sum }_{j=0\to n}^{j\ne i}-A_i{A}_j\end{array}=A_i(1-A_i)+\sum _{j=0\to n}^{j\ne i}-A_i{A}_j \end{gathered}$$

结合链式法则，有：
$$\begin{gathered} \frac{\partial CELoss}{\partial z_i}=\frac{\partial CELoss}{\partial A}\ast \frac{\partial A}{\partial z_i}=\frac{\partial CELoss}{\partial A_i}\ast \frac{\partial A_i}{\partial z_i}+\frac{\partial CELoss}{\partial \sum A_j}\ast \frac{\partial \sum A_j}{\partial z_i} \\ =[-\frac{Y_i}{A_i}\ast A_i(1-A_i)]{|}_{i=j}+[-\frac{Y_i}{A_i}\ast \sum _{j=0\to n}^{j\ne i}-A_i{A}_j]{|}_{i\ne j} \\ =Y_i\ast (A_i-1)+\sum _{j=0\to n}^{j\ne i}{Y}_i{A}_j \\ =Y_i{A}_i+\sum _{j=0\to n}^{j\ne i}{Y}_i{A}_j-Y_i \end{gathered}$$
计算当i=j时：
$$-\frac{Y_i}{A_i}\ast A_i(1-A_i)=-Y_i+A_i{Y}_i\text{\hspace{1em}(1)}$$
当i≠j时：
$$-\frac{Y_i}{A_i}\ast \sum _{j=0\to n}^{j\ne i}-A_i{A}_j=\sum _{j=0\to n}^{j\ne i}\frac{Y_i}{A_i}\ast A_i{A}_j=\sum _{j=0\to n}^{j\ne i}{Y}_i{A}_j\text{\hspace{1em}(2)}$$
仔细比较(1)和(2)，可以发现(1)的后半段正好就是(2)中缺失的i=j，(1)+(2)的结果如下：
$$\begin{gathered} -Y_i+A_i{Y}_i+\sum _{j=0\to n}^{j\ne i}{Y}_i{A}_j=-Y_i+\sum _{i=0}^n{Y}_i{A}_i \\ 由于Y是样本标签，每一批只有一个是真实值，其值为1，其它都是0。所以特别地： \\ \sum _{i=0}^n{Y}_i{A}_i=Y_0{A}_0+Y_1{A}_1+...+Y_i{A}_i+...+Y_n{A}_n=0+0+...+Y_i{A}_i+...+0=A_i \\ 这样整个导数的结果就全部求出来了：\frac{\partial CELoss}{\partial z_i}=A_i-Y_i \end{gathered}$$

---

在神经网络中，损失函数和激活函数的选择是很重要的。从上面的结果可以很明显看出softmax和交叉熵的配合是非常好的，它的结果只和A和Y有关，也可以很好地避免梯度弥散，最重要的是其计算只有减法，非常方便和高效，所以一般处理多分类问题都可以使用这两个函数。
此外，二分类问题可以使用交叉熵的特殊情况：二分类交叉熵函数(BCE)和sigmoid函数的配合(它和softmax是一脉相承的)，结果是一样的，这里就不细说了。