机器学习常见损失函数，二元交叉熵，类别交叉熵，MSE，稀疏类别交叉熵

一 损失函数介绍

损失函数用于描述模型预测值与真实值的差距大小。一般有有两种常见的算法——均值平方差（MSE）和交叉熵。下面来分别介绍每个算法的具体内容。

1 均值平方差

均值平方差（Mean Squared Error，MSE），也称“均方误差”，在神经网络中主要是表达预测值和真实值之间的差异，在数理统计中，均方误差是指参数估计值与参数真值之差平方的预期值，主要用于回归问题。

公式如下：主要是对每一个真实值与预期值相减的平方取平均值

均方误差的值越小，表明模型越好，拟合程度也越好，泛化性能也较好。

类似的损失算法还有均方根误差RMSE（将MSE开平方）：

平均绝对值误差MAD（对一个真实值与预测值相减的绝对值取平均值）

2 交叉熵

交叉熵（crossentropy）也是loss算法的一种，一般用在分类问题上，表达意思为预测输入样本属于哪一类的概率。其表达式如下，其中y代表真实值分类（0或1）需要进行ont-hot表示，a代表预测值。

二分类情况下的公式：

交叉熵也是值越小，代表预测结果越准。多类别交叉熵和二分类类似，只是计算的公式变化了而已，稀疏类别交叉熵也和以上类似，只不过稀疏类别交叉熵不需要把标签y进行ont-hot表示，但是需要进行顺序表示，eg： y 取值为0 1 2 3 4   要从0开始进行标号。

3 损失算法的选取

损失函数的选取取决于输入标签数据的类型：

如果输入的实数、无界的值，损失函数使用平方差。

如果输入标签是位矢量（分类标志），使用交叉熵会更适合。

二 损失函数举例

下面是3个训练样本经过使用softmax作为激活函数的神经网络的输出(computed)、真实结果(targets)以及是否预测正确的对比表格。

下面是另外一个网络的训练结果

1 交叉熵计算（三分类交叉熵）

第一个样本的交叉熵为：

−(0∗ln0.3+0∗ln0.3+1∗ln0.4)=−ln0.4

对于神经网络来说，交叉熵的计算有点古怪，因为只有一项会被保留下来。因此三个样本的平均交叉熵为：

−(ln0.4+ln0.4+ln0.1)/3=1.38

第二个网络的平均交叉熵为：

−(ln0.7+ln0.7+ln0.3)/3=0.64

2 均方误差(Root Mean Square Error, RMSE)

第一个网络：0.81

第二个网络：0.34