回归和分类模型性能评估指标MSE,MAE,PR,ROC,AUC

0. 模型评估是什么，为什么

  模型评估其本质是为了解决模型的泛化问题，由于各种原因，训练完成的模型可能会产生过拟合和欠拟合问题，因此需要对模型评估其泛化能力，并进行合适的参数调整以求得模型最优。
  为什么要进行模型评估？
  除了考虑到模型泛化能力的问题，同时也要兼顾不同业务场景下的业务指标不同。对于不同的业务场景，选择对应的评估指标，可以更加明确优化目标，从而使得模型达到一种实用业务场景的优化。

  总而言之，模型评估是为了模型调参服务，使得模型能够更好的用于实际的业务场景下。

1. 不同类型问题的评估指标

  如下图是所列不同问题类型的可能评估指标，我们将逐个介绍：

1.1 回归问题

  回归问题，在小蓝书P4的定义：输入和输出都是连续变量的预测问题。
  评估连续变量预测性能，有三种指标：

1. MSE 均方误差
   $$MSE=\frac{1}{m}\sum _{i=1}^m{\left(y_i-{\hat{y}}_i\right)}^2$$
   这个指标就是线性回归的最小二乘法损失函数，将其作为模型的预测性能评估指标，也是简单直观的。
2. RMSE 均方根误差
   $$RMSE=\sqrt{\frac{1}{m}\sum _{i=1}^m{\left(y_i-{\hat{y}}_i\right)}^2}$$