MSE Loss，MAE Loss, 交叉熵 Loss的统计意义

MSE loss和MAE Loss经常用在回归问题，交叉熵loss经常用于分类问题。

• 对于MSE Loss，如果相同的样本存在不同的label值（比如同一句话在不同场景下满意度可能是不同的），当预测值取这些样本label的平均值时，loss最小。这可以通过对loss对导数得到。
• 对于MAE Loss，这是统计学中的『最小一乘线性回归』问题，如果相同的样本存在不同的label值，那么预测值取这些样本的label的中位数时候，loss最小。可以假定loss最小时，预测值 不是中位数，证明这个时候loss比中位数的loss大就行。
• 对于交叉熵Loss，它是优化概率的，比如样本相同，有m个label为1，n个label为0，那么训练完成后，模型更加倾向于预测label为1的概率为m/(m+n)。这也可以通过对loss求导数得到。

理解了上面三个loss的统计意义后，那么就可在训练模型之前推断模型最理想情况的预测效果。还可以指导在训练模型之前去做样本优化，比如对label去噪修正等。

注意：MSE loss和MAE Loss，MLP层后不能加softmax，否则会梯度消失，可以推导下导数。
p=σ（wx+b）
loss=(y-p)^2
loss对w的导数=(y-p)p(1-p)x，当y=1且p=0或者y=0且p=1的时候梯度为0