回归 Evaluation Metrics

• MAE

  • Mean Absolute Error 平均绝对误差
  • 又被称为 l1 范数损失（l1-norm loss）
  • 是基础的评估方法，后面的方法一般以此为参考对比优劣
  • 中位数绝对误差 MedAE
    • MedAE对于噪声点是鲁棒的

• MAPE

  • 平均绝对百分误差
  • so MAPE >100% means that the errors are “much greater” than the actual values (e.g. actual is 1, you predict 3, so MAPE is 200%). However beware that MAPE has many pitfalls as error measure, so often it won’t be the best choice.
  • The question if you’re using the wrong model or not, cannot be answered based on MAPE alone. Like any other error measure, there is no objective meaning of the values, you always interpret them relatively to some benchmark, e.g. MAPE of other model.

• MARE

  • 平均绝对相对误差

• MSE

  • Mean Squared Error 平均平方误差
  • 又被称为 l2 范数损失（l2-norm loss）
  • 对比MAE，MSE可以放大预测偏差较大的值，可以比较不同预测模型的稳定性，应用场景相对多一点

• RMSE

  • RMSE相当于L2范数，MAE相当于L1范数。次数越高，计算结果就越与较大的值有关，而忽略较小的值，所以这就是为什么RMSE针对异常值更敏感的原因（即有一个预测值与真实值相差很大，那么RMSE就会很大）

• RMSLE

  • root mean squared error 均方误差根
  • EMSE/NRMSE
    

• 如果预测的值的范围很大，RMSE会被一些大的值主导。这样即使你很多小的值预测准了，但是有一个非常大的值预测的不准确，RMSE就会很大。相应的，如果另外一个比较差的算法对这一个大的值准确一些，但是很多小的值都有偏差，可能RMSE会比前一个小。先取log再求RMSE，可以稍微解决这个问题。RMSE一般对于固定的平均分布的预测值才合理。

• R Squared