回归模型选择性能指标 | RMSE与MAE应用及其区别（L1-曼哈顿范数和L2-欧几里得范数)

机器学习回归问题常用的两种选择性能指标：

• 均方根误差（Root Mean Square Error-RMSE）：
  $$RMSE(\mathbf{X},h)=\sqrt{\frac{1}{m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)}{)}^2}$$

  均方根误差测量的是数据序列与真实值之间关系，区别与概率论中的标准差（测量数据序列与均值之间的关系），之所以开平方是为了保证量纲相同。

• 平均绝对误差（Mean Absolute Error-MAE）
  $$MAE(\mathbf{X},h)=\frac{1}{m}\sum _{i=1}^m|h(x^{(i)})-y^{(i)}|$$

  适用情况：数据存在许多异常值时使用MAE，因为当数据异常时，RMSE是先对误差进行平方的累加后再开方，它其实是放大了较大误差之间的差距(代入几组数值即可得出此结论)。而MAE是真实误差，受异常值（极小值或极大值）影响较RMSE小。

• 两者的异同：
  同：
  都是测量的预测值和真实值两个向量距离的方法。
  异：
  （1）RMSE对应于常数与欧几里得范数的乘积，欧几里得范数称为L2范数或$||\cdot |{|}_2$，有时也称作||·||
  （2）MAE对应于常数与曼哈顿范数的乘积，曼哈顿范数称为L1范数或$||\cdot |{|}_1$
  【曼哈顿距离（L1范数）& 欧式距离（L2范数）区别】

  向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。
  向量的范数定义：向量的范数是一个函数||x||,满足非负性||x|| >= 0，齐次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。

• 一般情况下，包含n个元素的向量$\mathbf{v}$的$L_k$范数（K阶闵氏范数），定义成
  $$||\mathbf{v}|{|}_k=(|v_0{|}^k+|v_1{|}^k+\cdot \cdot \cdot +|v_n{|}^k{)}^{\frac{1}{k}}$$当$k=0$时，它表示的是这个向量非零元素的个数，称作汉明范数，当$k\to \infty$时，它表示的是向量中最大的绝对值，称作切比雪夫范数。

• 范数的指数越高，就越关注大的值而忽略小的值。这就是为什么RMSE比MAE对异常值更敏感。但是当异常值是指数分布（类似正态曲线）时，RMSE就表现很好。

参考资料：

1. sklearn与TensorFlow机器学习指南
2. 曼哈顿距离（L1范数）& 欧式距离（L2范数）区别
3. 范数与距离的关系
4. 衡量线性回归法的指标：MSE, RMSE和MAE