神经网络多分类任务的损失函数——交叉熵

神经网络解决多分类问题最常用的方法是设置n个输出节点，其中n为类别的个数。对于每一个样例，神经网络可以得到的一个n维数组作为输出结果。数组中的每一个维度（也就是每一个输出节点）对应一个类别。在理想情况下，如果一个样本属于类别k，那么这个类别所对应的输出节点的输出值应该为1，而其他节点的输出都为0。

以识别手写数字为例，0~9共十个类别。识别数字1，神经网络的输出结果越接近[0,1,0,0,0,0,0,0,0,0]越好。交叉熵是最好的评判方法之一。交叉熵刻画了两个概率分布之间的距离，它是分类问题中使用比较广的一种损失函数。

p代表正确答案，q代表的是预测值。交叉熵值越小，两个概率分布越接近。

需要注意的是，交叉熵刻画的是两个概率分布之间的距离，然而神经网络的输出却不一定是一个概率分布，很多情况下是实数。如何将神经网络前向传播得到的结果也变成概率分布，Softmax回归就是一个非常有用的方法。

Softmax将神经网络的输出变成了一个概率分布，这个新的输出可以理解为经过神经网络的推导，一个样例为不同类别的概率分别是多大。这样就把神经网络的输出也变成了一个概率分布，从而可以通过交叉熵来计算预测的概率分布和真实答案的概率分布之间的距离了。

例子：

假设有一个三分类问题，某个样例的正确答案是（1,0,0）。某模型经过Softmax回归之后的预测答案是（0.5,0,4,0.1)，那么这个预测和正确答案直接的交叉熵是：

如果另外一个模型的预测是（0.8,0.1,0.1），那么这个预测值和真实值的交叉熵是：

从直观上可以很容易知道第二个答案要优于第二个。通过交叉熵计算得到的结果也是一致的（第二个交叉熵的值更小）。