CE formulation:
NNL公式:
NNL是CE的一种应用形式,使用的就是CE的计算公式,但在通常看到的计算形式是这种:
为什么累加符号以及没有了呢?
首先CE计算的是两个分布(真实分布与预测分布)之间的交叉熵,即距离,以此距离值作为损失值。而在多分类(multi-class)任务中,预测分布式模型经过softmax函数后的输出vector,而真实分布则是每个输出目标类(ground truth)的onehot编码,将该值带入CE公式后就得到了最下面所展示的形式。
另外一种解释:
如何评估分类效果的好坏,这个评估方式需要满足:1.值越高代表结果越好,2.考虑预测值与真实值之间的一致性。一种满足这两种性质的公式如下:
这个公式的值越高,代表预测结果越好,那么模型效果越好,反之值越低代表结果越差。而模型是通过降低loss值来调整参数,不能直接应用这个公式的结果需要进行一定变化。
变换方式很简单:加负号“-”来变换单调性,使之值越小代表结果越好;同时为了便于计算则加log由连乘与幂乘变成连加与乘法形式。经过变形后NLL公式就变成这样:
参考文献: