交叉熵损失cross entropy loss

我们一般在回归问题中，损失函数经常会用到MSE（mean squared error），而在分类问题中，我们经常会用到CrossEntropy。我们经常把它与softmax一起用，因为我们用交叉熵计算出来的值不一定是在[0,1]之间，我们通常用softmax归一到0-1之间，这样我们可以进行物体的分类。

这里，yi是预测值，y’i是label

我们为什么要使用交叉熵呢？
比如我们给你两组数据

那么我们正常计算table1，2的准确率都是33.3%，但是我们仔细观察，table2的明显要比table1要好，因为0.8-0.1-0.1估计错的概率明显要比
0.3-0.4-0.3估计错误的概率要大，那么我们怎么才能看出哪一个模型效果更好呢？

我们用crossentropy来计算loss：
table1：第一项：- ((ln0.2)*0+(ln0.2)*0+(ln0.6)*1) = -ln0.6
同理，table1：loss = -（ln0.6+ln0.4&