理解交叉熵作为损失函数在神经网络中的作用

交叉熵的作用

通过神经网络解决多分类问题时，最常用的一种方式就是在最后一层设置n个输出节点，无论在浅层神经网络还是在CNN中都是如此，比如，在AlexNet中最后的输出层有1000个结点：

而即便是ResNet取消了隐藏层的全连接，也会在最后有一个1000个节点的输出层，比如下图中的ResNet18，ResNet34，ResNet0，ResNet101和ResNet152，最后的输出都是1000-d fc，也就是1000个结点：

一般情况下，最后一个输出层的节点个数与分类任务的目标数相等。假设最后的节点数为N，那么对于每一个样例，神经网络可以得到一个N维的数组作为输出结果，数组中每一个维度会对应一个类别。在最理想的情况下，如果一个样本属于k，那么这个类别所对应的的输出节点的输出值应该为1，而其他结点的输出都为0，即[0,0,1,0,…0,0]，这个数组也就是样本的Label，是神经网络最期望的输出结果，交叉熵就是用来判定实际的输出与期望的输出的接近程度！
但是这里有一个特例，就是二分类问题，二分类问题时，网络可以输出N=2个结点，这种情况下和上面说到的是一致的。但是也可以只输出一个结点，用这个结点的值是否大于0.5来做二分类，Logist处理二分类问题时就是这样。

激活函数

神经网络的原始输出（也就是结点的直接输出结果）不是一个概率值，实质上只是输入的数值做了复杂的加权和与非线性处理之后的一个值而已，那么如何将这个输出变为概率分布呢？对于上面提到的两种情况，一般会采用Softmax和Sigmoid做激活处理。

Softmax

假设神经网络的原始输出为$y_1,y_2,....,y_n$，那么经过Softmax处理之后的输出为：
$$softmax(y_i)=\frac{e_i^y}{{\sum }_{j=1}^n{e}_i^y}$$
很显然的是：$$\sum _{j=1}^{n}softmax(y_i)=1$$
也就是说每个结点的输出，加起来为1，所以经过Softmax处理后单个节点的输出变成的一个概率值。

Sigmoid

Softmax激活起码要对应N大于等于2的输出结点，那么上述的另一种情况，只有一个结点时处理二分类问题，应该怎么激活？这里就用到了Sigmoid，Sigmoid在早期ANN中常用于去线性化，因为它的特性是将一个数压缩到0-1之间：

$$Sigmoid(y)=\frac{1}{1+e^{-y}}$$

压缩后的结果就可以作为二分类中某一类的概率值，由于是二分类问题，所以另一类的概率值自然就是$1-Sigmoid(y)$。
这样处理，和N=2时做Softmax，效果是相似的，都可以表征出二分类的概率。

交叉熵原理

交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。

二值交叉熵

分类任务中有二分类，交叉熵中也有一个特例，就是二值交叉熵。
二值交叉熵是对应Sigmoid激活时的二分类问题的，它的公式是这样：
$$L(p,t)=-[tlog(p)+(1-t)log(1-p)]$$
其中，$t$为样本的期望输出，$p$为样本的实际输出，其中$p=Sigmoid(y)$。这里的$p$和$t$都只是一个数。
二值交叉熵的这个公式是可证的，在另一篇文章中给出了上述公式的证明。
这个公式如何表征距离呢，举个例子：

假设期望输出$t=1$，实际输出$p_1=0.3$，$p_2=0.6$那么：
$$L_1(t,p_1)=-log(0.3)=0.522$$
$$L_2(t,p_2)=-log(0.6)=0.221$$
显然$t_2$的损失更小。

假设期望输出$p=0$，实际输出$t_1=0.3$，$t_2=0.6$那么：
$$L_1(t,p_1)=-log(1-0.3)=0.154$$
$$L_2(t,p_2)=-log(1-0.6)=0.397$$
显然$t_1$的损失更小。

交叉熵

在二分类的基础上，交叉熵有更通用的表达形式，因为二分类只是分类问题的特例，更多的还是多分类问题，比如前面提到的1000分类。通用的交叉熵要对应Softmax函数使用，所以有时候Softmax+交叉熵也被称为Softmax损失函数，它表达式为：
$$H(T,P)=-\sum _1^{C}Tlog(P)$$

其中，$T$为样本的期望输出，它是一个one-hot编码形式，比如二分类时label=0，one-hot应该为[1,0]；三分类时label=0，one-hot应该为[1,0,0]。
$P$为样本的实际输出，其中$P=[softmax(y_1),softmax(y_2),...,softmax(y_{i=n})]$。
这里的$T$和$P$就不再是一个数了，而是一个长度与类别数相同的集合，所以这里用了大写。

这个公式如何表征距离呢，还是举例说明，首先是上面二分类的例子：
假设期望输出$t=1$，实际输出$p_1=0.3$，$p_2=0.6$，那么把它变成一个N=2的集合应该是：$T=[0,1]$，$P_1=[0.7,0.3]$，$P_2=[0.4,0.6]$

$$H_1(T,P_1)=-log(0.3)=0.522$$
$$H_2(T,P_2)=-log(0.6)=0.221$$
到这里就发现，和上面的结果是一致的，因为我们本来就是用Sigmoid的输出去假设了Softmax的输出，因为二分类只有1减去当前类别的概率，剩下的就会是另一个类别的概率。上述的交叉熵公式$H(P,T)$，如果把$\sum$展开，也就成了$L(p,t)$。
第二个$p=0$的例子就不太详细举例了。

下面假设一个三分类情况，$T=[1,0,0]$，$P_1=[0.8,0.1,0.1]$，$P_2=[0.5,0.3,0.2]$
$$H_1(P,T_1)=-(1\times log(0.8)+0\times log(0.1)+0\times log(0.1))=0.096$$
$$H_2(P,T_2)=-(1\times log(0.5)+0\times log(0.3)+0\times log(0.2))=0.301$$
$T_1$要更接近label，所以损失更小。