交叉熵损失函数(cross entropy loss)+softmax分类器

卷积神经网络处理多分类问题时，通常选择的损失函数是交叉熵损失函数(Cross Entropy Loss)。交叉熵表示的是模型实际输出和期望输出的差值，交叉熵的值越小，表明实际的输出和期望的结果越相近，效果越好。
以识别手写数字为例，0~9共十个类别。识别数字1，神经网络的输出结果越接近[0,1,0,0,0,0,0,0,0,0]越好。交叉熵计算公式：


需要注意的是，交叉熵描述的是两个概率分布之间的距离，然而神经网络的输出却不一定是一个概率分布，很多情况下是实数。如何将神经网络前向传播得到的结果也变成概率分布，Softmax回归就是一个非常有用的方法。

直观一点：

Softmax将神经网络的输出变成了一个概率分布

经过softmax后的输出可以理解为经过神经网络的推导，一个样例为不同类别的概率分别是多大。这样就把神经网络的输出也变成了一个概率分布，从而可以通过交叉熵来计算预测的概率分布和真实答案的概率分布之间的距离了。
例子：