面试快速复习（二）：交叉熵为什么有用

交叉熵CrossEntropy

多分类交叉熵公式为：
$$J=-\frac{1}{m}\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}log(p_k^{(i)})$$
其中$m$表示样本数量，$K$表示类别数量，$y_k^{(i)}$表示第$i$个样本第$k$个类别的值，独热编码表示，当$y_i$属于第$k$类时为1，否者为0。$p_k^{(i)}$表示第$i$个样本的第$k$类的预测分数。

由于独热编码的特殊表示，不等于该类时$y=0$，所以${\sum }_{k=1}^K{y}_k^{(i)}log(p_k^{(i)})$ 最后只有属于那一类的值有效，如此时真实类别为类别1，则${\sum }_{k=1}^K{y}_k^{(i)}log(p_k^{(i)})=y_1^{(i)}log(p_1^{(i)})=log(p_1^{(i)})$

所以其实对于一个单独的样本，只需要考虑一组$1$与$p$的关系

画出$y=log(x)$的函数图

可以看出，当$p$接近0时，$-log(p_1^{(i)})$越大（本来是负值，加上交叉熵$J$前面的负号就是正的了），越接近1损失越小

如$p=0.03$时，$log(p)=-3.50$，$loss=-log(p)=3.50$

$p=0.5$时，$log(p)=-0.69$，$loss=-log(p)=0.69$

这样将多分类任务转化成了在log函数上的模型预测值与1之间的距离关系，距离1越近损失越低，距离0越近损失越高