常用损失函数和评价指标总结

置顶

linxid

已于 2024-04-04 09:13:15 修改

阅读量1.1w

点赞数 23

分类专栏：机器学习文章标签： AUC 评价指标损失函数 RMSE ROC

于 2019-09-24 22:21:56 首次发布

本文链接：https://blog.csdn.net/linxid/article/details/100515713

版权

本文总结了常见的损失函数与评价指标，包括回归问题中的平方损失、平均绝对值误差、Huber损失，以及分类问题中的LogLoss和指数损失函数。在评价指标部分，讨论了准确率、召回率、F1分数、ROC-AUC等，强调了不同场景下选择合适指标的重要性。

摘要由CSDN通过智能技术生成

文章目录

一、损失函数：

1.1 回归问题：

1. 平方损失函数（最小二乘法）：

$\hat{y}) = \sum_{i=1}^n(y_i- \hat{y_i})^2$

回归问题中常用的损失函数，在线性回归中，可以通过极大似然估计（MLE）推导。计算的是预测值与真实值之间距离的平方和。实际更常用的是均方误差（Mean Squared Error-MSE）：
$\hat{y}) = \frac{1}{n}\sum_{i=1}^n(y_i- \hat{y_i})^2$

2 平均绝对值误差（L1）-- MAE：

$L(y_i- \hat{y_i}) = \frac{1}{n} \sum_{i=1}^n|y_i- \hat{y_i}|$
MAE是目标值和预测值之差的绝对值之和，可以用来衡量预测值和真实值的距离。但是它不能给出，模型的预测值是比真实值小还是大。

3 MAE（L1） VS MSE（L2）：

MSE计算简便，但MAE对异常点有更好的鲁棒性:
当数据中存在异常点时，用MSE/RMSE计算损失的模型会以牺牲了其他样本的误差为代价，朝着减小异常点误差的方向更新。然而这就会降低模型的整体性能。

直观上可以这样理解：如果我们最小化MSE来对所有的样本点只给出一个预测值，那么这个值一定是所有目标值的平均值。但如果是最小化MAE，那么这个值，则会是所有样本点目标值的中位数。众所周知，对异常值而言，中位数比均值更加鲁棒，因此MAE对于异常值也比MSE更稳定。

NN中MAE更新梯度始终相同，而MSE则不同：
MSE损失的梯度随损失增大而增大，而损失趋于0时则会减小。
Loss选择建议：
- MSE： 如果异常点代表在商业中很重要的异常情况，并且需要被检测出来
- MAE： 如果只把异常值当作受损数据

4. Huber损失：

$L_{\delta}(y_i- \hat{y_i})=\left\{\begin{array}{ll}{\frac{1}{2}(y_i- \hat{y_i})^{2}} & {\text { for }|y-f(x)| \leq \delta} \\ {\delta|y_i- \hat{y_i}|-\frac{1}{2} \delta^{2}} & {\text { otherwise }}\end{array}\right.$