NNL（negative log loss） 和 cross entropy loss的区别

CE formulation：

 NNL公式：

NNL是CE的一种应用形式，使用的就是CE的计算公式，但在通常看到的计算形式是这种：

为什么累加符号以及没有了呢？

首先CE计算的是两个分布（真实分布与预测分布）之间的交叉熵，即距离，以此距离值作为损失值。而在多分类（multi-class）任务中，预测分布式模型经过softmax函数后的输出vector，而真实分布则是每个输出目标类（ground truth）的onehot编码，将该值带入CE公式后就得到了最下面所展示的形式。

 

 

另外一种解释：

如何评估分类效果的好坏，这个评估方式需要满足：1.值越高代表结果越好，2.考虑预测值与真实值之间的一致性。一种满足这两种性质的公式如下：

 这个公式的值越高，代表预测结果越好，那么模型效果越好，反之值越低代表结果越差。而模型是通过降低loss值来调整参数，不能直接应用这个公式的结果需要进行一定变化。

变换方式很简单：加负号“-”来变换单调性，使之值越小代表结果越好；同时为了便于计算则加log由连乘与幂乘变成连加与乘法形式。经过变形后NLL公式就变成这样：

参考文献：

Cross entropy and log likelihood

Understanding Categorical Cross-Entropy Loss, Binary Cross-Entropy Loss, Softmax Loss, Logistic Loss, Focal Loss and all those confusing names