常见损失函数（Loss Function）

草明

已于 2023-12-21 15:34:09 修改

阅读量411

点赞数 9

文章标签：算法线性回归机器学习

于 2023-12-21 15:25:32 首次发布

本文链接：https://blog.csdn.net/galoiszhou/article/details/135131900

版权

在线性回归中，损失函数（Loss Function）用于衡量模型的预测值与实际值之间的差异，是优化算法的目标。常见的线性回归损失函数包括：

其中，n 是样本数量， $_{yi}$ 是实际值， $\hat{_{yi}}$ 是模型的预测值。MSE 是最常见的线性回归损失函数，它对预测值与实际值之间的差异进行平方，并求平均。在优化过程中，目标是最小化MSE。
平均绝对误差（Mean Absolute Error，MAE）

MAE是实际值与预测值之间的绝对差异的平均值。与MSE不同，MAE使用的是绝对值而不是平方，因此对异常值不敏感。
Huber损失

Huber损失是平均绝对误差和均方误差的一种折衷方案，对异常值的敏感性介于二者之间。它通过阈值δ来平衡对大误差的惩罚：
对数损失（Logarithmic Loss）
对数损失，也称为对数似然损失或交叉熵损失，通常用于逻辑回归等问题。在线性回归中，对数损失可以定义为：

这些损失函数在线性回归中有不同的应用场景，选择适当的损失函数取决于问题的性质和数据的特点。通常，均方误差是最常用的损失函数，但在一些情况下，其他损失函数可能更合适。

关注