损失函数总结

均方误差MSE(Mean Square Error)

均方误差（Mean Square Error,MSE）是回归损失函数中最常用的误差，它是预测值f(x)与目标值y之间差值平方和的均值，其公式如下所示：

下图是均方误差值的曲线分布，其中最小值为预测值为目标值的位置。我们可以看到随着误差的增加损失函数增加的更为迅猛。

• 优点：MSE的函数曲线光滑、连续，处处可导，便于使用梯度下降算法，是一种常用的损失函数。
  而且，随着误差的减小，梯度也在减小，这有利于收敛，即使使用固定的学习速率，也能较快的收敛到最小值。

• 缺点：当真实值y和预测值f(x)的差值大于1时，会放大误差；而当差值小于1时，则会缩小误差，这是平方运算决定的。MSE对于较大的误差(>1)给予较大的惩罚，较小的误差(<1）给予较小的惩罚。也就是说，对离群点比较敏感，受其影响较大。

如果样本中存在离群点，MSE会给离群点更高的权重，这就会牺牲其他正常点数据的预测效果，最终降低整体的模型性能。 如下图：

可见，使用 MSE 损失函数，受离群点的影响较大，虽然样本中只有 5 个离群点，但是拟合的直线还是比较偏向于离群点。

平均绝对误差MAE

1.3 MSE与MAE的选择

原文链接：https://blog.csdn.net/Xiaobai_rabbit0/article/details/111032136

binary Cross-Entropy 损失函数

二元交叉熵（Binary Cross-Entropy）是一种常用于机器学习和深度学习中的损失函数，通常用于二分类问题，即将数据分为两个类别的问题，如正类和负类。该损失函数通常用于训练二分类模型，例如逻辑回归或神经网络中的输出层。

Binary Cross-Entropy 的数学定义如下：

如果 y 是真实标签（通常是0或1），而 p 是模型预测的概率（通常在0到1之间），则二元交叉熵损失可以表示为：

L(y, p) = -[y * log(p) + (1 - y) * log(1 - p)]

其中：

• y 是真实标签，可以是0或1。
• p 是模型预测的概率，表示样本属于正类的概率。
• log 表示自然对数。
• • 表示取负号，这是因为我们通常要最小化这个损失函数，而不是最大化。

如果模型的预测与真实标签一致，损失将接近零。如果模型的预测与真实标签相反，损失将迅速增加。