损失函数（交叉熵误差）

损失函数

神经网络以某个指标为线索寻找最优权重参数。神经网络的学习中所用的指标称为损失函数 （loss function）。这个损失函数可以使用任意函数，但一般用均方误差和交叉熵误差等。

交叉熵误差

除了均方误差之外，交叉熵误差 （cross entropy error）也经常被用作损失函数。交叉熵误差如下式所示。

这里，log 表示以e为底数的自然对数（log_e ）。y_k是神经网络的输出，t_k 是正确解标签。并且，t_k 中只有正确解标签的索引为 1，其他均为 0（one-hot 表示）。因此，式（4.2）实际上只计算对应正确解标签的输出的自然对数。

自然对数的图像如图 4-3 所示。

如图 4-3 所示，x 等于 1 时，y 为 0；随着 x 向 0 靠近，y 逐渐变小。所以，正确解标签对应的输出越大，式（4.2）的值越接近 0；

当输出为 1 时，交叉熵误差为 0。此外，如果正确解标签对应的输出较小，则式（4.2）的值较大。