回归算法的评估指标

回归问题是机器学习要解决的四大问题之一，在我们的生活中也存在着很多回归问题。比如某一地区的房价预测，某一个学生高考成绩的预测，某一地区感染病毒人数的预测，某一公司2020年营业收入的预测等等。从以上的例子中，我们可知回归问题的目标是预测一个数值或者一个区间数值。

回归算法：对历史数据进行拟合，形成拟合方程。接下来使用该方程对新数据进行预测。下图中红线表示的是一元数据的拟合方程，如果数据是二元数据，那么它的拟合方程就是一个拟合平面，对于更高维的数据，它的拟合方程将更加复杂。

回归算法的评估指标：

对于回归算法，我们评价它的好坏，就是看它的预测结果与我们的真实结果的差异大小。在回归算法中，我们最常用的四种评估指标分别是：平均绝对值误差，均方误差，均方根误差，可决系数。接下来，我们以boston房价数据集为例，来详细说明每一个评估指标。并分别采用python的numpy库和Sklearn.metrics模块下专有的计算方法来计算这些指标的具体数值。

1.平均绝对值误差（$MAE$）

计算每一个样本的预测值和真实值的差的绝对值，然后求和再取平均值。其公式如下，$y_i$为真实值，$f(x_i)$与算法的预测值。
$$MAE=\frac{1}{m}\sum _{i=1}^m(|y_i-f(x_i)|)$$
导入boston数据集，建立基本的线性回归模型，并使用模型对测试样本进行预测。

#导入数据分析的常用工具包
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import datasets
%matplotlib inline

#导入boston房价数据集
boston = datasets.load_boston()
#导入特征
X = boston.data
#导入标签
y = boston.target

#对原始数据进行切分
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.3,random_state = 1)

#建立线性回归模型
from sklearn.linear_model import LinearRegression
LR = LinearRegression()
#对训练集进行训练
LR.fit(X_train,y_train)
#对测试集进行预测
prediction = LR.predict(X_test)

使用$MAE$指标对LR模型的预测结果进行评估。
Python方法：

MAE_1 = np.mean(abs(y_test - prediction))
print(MAE_1)
[out]：3.3446655035987476

使用sklearn.metrics模块：

from sklearn.metrics import mean_absolute_error
MAE_2 = mean_absolute_error(y_test,prediction)
print(MAE_2)
[out]：3.3446655035987476

可以看出$MAE$的值为3.3447。

2.均方误差($MSE$)

计算每一个样本的预测值与真实值差的平方，然后求和再取平均值。
$$MSE=\frac{1}{m}\sum _{i=1}^m(y_i-f(x_i){)}^2$$
下面使用$MSE$指标来评估该模型的效果。
python方法：

MSE_1 = np.mean((y_test - prediction)**2)
print(MSE_1)
[out]：19.831323672063235

使用sklearn.metrics模块：

from sklearn.metrics import mean_squared_error
MSE_2 = mean_squared_error(y_test,prediction)
print(MSE_2)
[out]：19.831323672063235

可以看出$MSE$的值为19.8313。

3.均方根误差（$RMSE$）

均方根误差就是在均方误差的基础上再开方。
$$RMSE=\sqrt{\frac{1}{m}\sum _{i=1}^m(y_i-f(x_i){)}^2}$$
下面使用$RMSE$来评估该模型的效果。
python方法：

RMSE_1 = np.sqrt(np.mean((y_test - prediction)**2))
print(RMSE_1)
[out]：4.45323743719816

使用sklearn.metrics模块：
sklearn.metrics模块中没有直接计算均方根误差的函数，所以需要先计算均方误差，然后再开根号。

from sklearn.metrics import mean_squared_error
RMSE_2 = np.sqrt(mean_squared_error(y_test,prediction))
print(RMSE_2)
[out]：4.45323743719816

可以看出$RMSE$的值为4.4532。

4.可决系数（$R^2$）

可决系数$R^2$的值为0~1之间的值。$R^2$越接近于1，说明模型的效果越好，越接近于0，说明的模型效果越差，当然$R^2$也存在负值，此时说明模型的效果非常的差。公式中$\overline{y}$为$y$的平均值。
$$R^2=1-\frac{MSE(y_i,f(x_i))}{\frac{1}{m}{\sum }_{i=1}^m(y_i-\overline{y}{)}^2}$$
python方法：

R_1 = 1 - np.mean((y_test - prediction)**2)/np.mean((y_test - np.mean(y_test)**2))
print(R_1)
[out]：0.7836295385076281

使用sklearn.metrics模块

from sklearn.metrics import r2_score
R_2 = r2_score(y_test,prediction)
print(R_2)
[out]：0.7836295385076281

可以看出$R^2$的值为0.7836。

小结：

1.$MAE$, $MSE$, $RMSE$可以准确的计算出预测结果和真实的结果的误差大小，但却无法衡量模型的好坏程度。但是这些指标可以指导我们的模型改进工作，如调参，特征选择等。
2.$R^2$的结果可以很清楚的说明模型的好坏，该值越接近于1，表明模型的效果越好。该值越接近于0，表明模型的效果越差。