机器学习中回归任务的性能度量

性能度量

对于我们构建的模型的泛化能力进行评估，不仅我们需要有效可行的实验评估方法，还需要有衡量模型泛化能力的评价标准，就是性能度量(performance measure)

在对比不同模型的效果时，使用不同的性能度量往往会有不同的评判结果，即意味着模型的“好坏”是相对的，怎么样去使用对应的性能度量标准，还需要根据任务需求

在预测任务中，给出数据集
D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x m , y m ) } D=\{{(x_1,y_1),(x_2,y_2)...(x_m,y_m)}\} D={(x1​,y1​),(x2​,y2​)...(xm​,ym​)}
其中$x_i$是features，$y_i$是$x_i$的label值，评估模型$f$的性能，就要将预测结果$f(x)$（一般我们会将预测结果记为$\hat{y}$）与label值$y$进行比较。

 
 

回归（regression）任务的常用的性能度量

均方误差（MSE）

回归任务中最常用的性能度量是“均方误差”(mean squared error)
预测值与真实值之差的平方和的平均值
$$MSE=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
特点：MSE对误差进行的平方，意味着误差值越大，其平方值更大，对大误差值会十分敏感。

均方根误差（RMSE）

均方根误差测量的是误差的标准差
$$MSE=\sqrt{\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2}$$
特点：进行开方的MSE其单位将会与原数据单位一致

平均绝对误差（MAE）

平均绝对误差MAE(Mean Absolute Error):
$$MAE=\frac{1}{m}\sum _{i=1}^n|f(x_i)-y_i|$$
特点：真实地表现出误差。

确定系数$R^2$ (R-Squared)

确定系数$R^2$是由$SSR$和$SST$和$SSE$决定的。
其中$f(x_i)$是模型的预测结果，$y_i$是样本的abel值,$\overline{y}$表示样本label的均值。

回归平方和 $SSR$:Sum of Squares Of The Regression,即预测数据与原始数据均值之差平方和
$$SSR=S{S}_{reg}=\sum _{i=1}^m(f(x_i)-\overline{y}{)}^2$$
总离差平方和 $SST$:Total Sum Of Squares,即原始数据和均值之差的平方和
$$SST=S{S}_{tot}=\sum _{i=1}^m(y_i-\overline{y}{)}^2$$
残差平方和 SSE:Sum of Squares due to Error,即
$$SSE=S{S}_{res}=\sum _{i=1}^m(y_i-f(x_i){)}^2$$

得到$R^2$的公式为：

$$R^2=1-\frac{SSE(S{S}_{res})}{SST(S{S}_{tot})}=1-\frac{{\sum }_{i=1}^m(y_i-f(x_i){)}^2}{{\sum }_{i=1}^m(y_i-\overline{y}{)}^2}$$
 
 

决定系数：用于度量因变量的变异中可由自变量解释部分所占的比例，取值范围是 0~1，值越接近1,表明回归平方和占总平方和的比例越大,回归线与各观测点越接近，用x的变化来解释y值变化的部分就越多,回归的拟合程度就越 好。所以也称为拟合优度（Goodness of Fit）的统计量。