直观理解为什么分类问题用交叉熵损失而不用均方误差损失?

博客： blog.shinelee.me | 博客园 | CSDN

交叉熵损失与均方误差损失

常规分类网络最后的softmax层如下图所示，传统机器学习方法以此类比，

一共有$K$类，令网络的输出为$[{\hat{y}}_1,\dots ,{\hat{y}}_K]$，对应每个类别的概率，令label为 $[y_1,\dots ,y_K]$。对某个属于$p$类的样本，其label中$y_p=1$，$y_1,\dots ,y_{p-1},y_{p+1},\dots ,y_K$均为0。

对这个样本，交叉熵（cross entropy）损失为
$$\begin{array}{rl}L& =-(y_1\log {\hat{y}}_1+\cdots +y_K\log {\hat{y}}_K)\\ & =-y_p\log {\hat{y}}_p\\ & =-\log {\hat{y}}_p\end{array}$$
**均方误差损失（mean squared error，MSE）**为
L = ( y 1 − y ^ 1 ) 2 + ⋯ + ( y K − y ^ K ) 2 = ( 1 − y ^ p ) 2 + ( y ^ 1 2 + ⋯ + y ^ p − 1 2 + y ^ p + 1 2 + ⋯ + y ^ K 2 )