MAE和MSE

一、
在做回归建模相关任务时，经常用的指标就是MAE,MSE,RMSE中的一个或多个。

1.1 介绍：
1.1.1
MAE
MAE就是 平均绝对值误差，也可以看做L1损失，是一种用于回归模型的常用损失函数。MAE是预测值和绝对值之差的绝对值之和。其只衡量了预测值误差的平均模长，而不考虑方向，取值范围也是从0到正无穷（如果考虑方向，则是残差/误差的总和——平均偏差（MBE））。
计算公式：
$$MAE=\frac{1}{n}\sum _1^n\left|y_i-y_i^p\right|$$
1.1.2
MSE
MSE(mean squared error)，即均方误差，可以看做是一种L2损失，也是一种最常用的回归损失函数。MSE是求预测值与真实值之间距离的平方和。MSE的计算公式如下：
$$MSE=\frac{1}{n}\sum _1^n{\left(y_i-y_i^p\right)}^2$$
1.1.3
RMSE
RMSE（均方根误差，Root Mean Squared Error）是一个常用于衡量预测模型误差的统计量。它表示的是预测值与实际观测值之间差的平方的平均值的平方根。简单来说，RMSE是平均平方误差（MSE）的平方根。

$$RMSE=\sqrt{\frac{1}{n}\sum _1^n{\left(y_i-y_i^p\right)}^2}$$

鲁棒性：
系统或算法对于各种变化或干扰的抵抗能力。
根据对性能的不同定义，可分为稳定鲁棒性和性能鲁棒性。以闭环系统的鲁棒性作为目标设计得到的固定控制器称为鲁棒控制器。

1.2 存在问题
MAE存在一个严重的问题（特别是对于神经网络）：更新的梯度始终相同，也就是说，即使对于很小的损失值，梯度也很大。这样不利于模型的学习。为了解决这个缺陷，我们可以使用变化的学习率，在损失接近最小值时降低学习率。而MSE在这种情况下的表现就很好，即便使用固定的学习率也可以有效收敛。MSE损失的梯度随损失增大而增大，而损失趋于0时则会减小。这使得在训练结束时，使用MSE模型的结果会更精确。
1.3 如何选择
如果异常点代表在商业中很重要的异常情况，并且需要被检测出来，则应选用MSE损失函数。相反，如果只把异常值当作受损数据，则应选用MAE损失函数。总的来说，处理异常点时，MAE损失函数更稳定，但它的导数不连续，因此求解效率较低。MSE损失函数对异常点更敏感，但通过令其导数为0，可以得到更稳定的封闭解。