交叉熵
分类问题常用的损失函数为交叉熵(Cross Entropy Loss)。
交叉熵描述了两个概率分布之间的距离,交叉熵越小说明两者之间越接近。
原理这篇博客介绍的简单清晰:
https://blog.csdn.net/xg123321123/article/details/52864830
总结: 熵是信息量的期望值,它是一个随机变量的确定性的度量。
熵越大,变量的取值越不确定;反之,熵越小,变量取值就越确定。
熵与概率的关系如图:
尽管交叉熵刻画的是两个概率分布之间的距离,但是神经网络的输出却不一定是一个概率分布。为此我们常常用Softmax回归将神经网络前向传播得到的结果变成概率分布。
总之
在分类问题中用交叉熵可以更好的体现loss的同时,使其仍然是个凸函数,这对于梯度下降时的搜索很有用。
反观平方和函数,经过softmax后使得函数是一个非凸函数。
分类问题用 One Hot Label + Cross Entropy Loss
Training 过程,分类问题用 Cross Entropy Loss,回归问题用 Mean Squared Error。
validation / testing 过程,使用 Classification Error更直观ÿ