【机器学习精研】——5种常见的回归损失函数

【引言】
所有机器学习算法都旨在最小化或最大化目标函数，其中，将目标函数最小化的过程称为损失函数。

损失函数：是衡量预测模型预测期望结果表现的指标。常用方法为梯度下降法，通过设置一定的步长，让函数在求导的过程中逐渐逼近谷值。而损失函数往往因为机器学习算法的类别分为回归损失函数和分类损失函数。

1、回归损失函数，常见的有：

1、最小平方误差法（MSE）
2、平均绝对值误差法（MAE）
3、平滑平均绝对值误差法（S-MAE）
4、Log-cosh对数损失
5、quantile-loss分位数损失点

2、分类损失函数，常见的有：

1、对数损失法
2、Focal Loss
3、KL-Divergence
4、指数损失
5、Hinger Loss

---

1、均方误差（MSE——L2损失）：

顾名思义：
$$MSE=\frac{1}{2m}\sum _{i=1}^m(\hat{y}$$