sklearn机器学习入门第二章：白盒学习的典范——经典线性回归（原理与实战篇）

0 前言

经典的线性回归指的是一元线性回归，但显然机器学习中的线性回归不仅仅是一元线性回归，还包括多元线性回归，因此这里的经典线性回归指的是使用最小二乘法求解的多元线性回归。

1 多元线性回归的基本原理

多元线性回归的来源于以下这个方程
$$\begin{array}{rl}{y}_i& =a_1{x}_1+a_2{x}_2+\cdots +a_n{x}_n+b\\ {\hat{y}}_i& =a_1{x}_{i1}+a_2{x}_{i2}+\cdots +a_n{x}_{n1}+b_i\end{array}\text{\hspace{1em}(1)(2)}$$
式（1）表示了其代数关系，而（2）式表示了使用线性回归对$y_i$做出的估计$\widehat{y_i}$，称$\vec{a}$为回归系数（coefficient），$\vec{b}$为截距项（intercept），$\overrightarrow{x_i}$为特征项（自变量），$y_i$为标签项（因变量，目标），$\widehat{y_i}$为预测项（因变量的估计值）。用$x_{i1},x_{i2},\cdots ,x_{in}$来表示一个样本的多个维度，那么具有多个样本时，可以表示为
$$\begin{array}{rl}\vec{y}& =\vec{X}\vec{a}+\vec{b}\\ \vec{\hat{y}}& =\vec{X}\vec{a}+\vec{b}\end{array}\text{\hspace{1em}(3)(4)}$$
显然，在面对一个回归任务时，我们希望预测值尽可能接近于真实值，即$\vec{\hat{y}}$尽可能接近于$\vec{y}$，那么我们可以定义一个损失函数（loss function）来衡量预测值与真实值之间的差距，常见的损失函数有均方误差（mean squared error）和平均绝对误差（mean absolute error），分别表示为
$$\begin{array}{rl}{L}_{MSE}& =\frac{1}{n}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2\\ L_{MAE}& =\frac{1}{n}\sum _{i=1}^n|y_i-\widehat{y_i}|\end{array}\text{\hspace{1em}(5)(6)}$$
经典的线性回归模型就是希望找到一组回归系数$\vec{a}$和截距项$\vec{b}$，使得损失函数最小，即
$$\begin{array}{rl}{\vec{a}}^{\ast },{\vec{b}}^{\ast }& =\arg \underset{\vec{a},\vec{b}}{\min }L(\vec{y},\vec{\hat{y}})\\ & =\arg \underset{\vec{a},\vec{b}}{\min }L(\vec{y},\vec{X}\vec{a}+\vec{b})\end{array}\text{\hspace{1em}(7)(8)}$$
在线性回归中最小化误差项的方法是最小二乘法（least square method），即求误差项对参数项的偏导数$\frac{\partial \Vert y-ax{\Vert }_2^2}{\partial a}$为0的解，即
$$\begin{array}{rl}\frac{\partial \Vert y-ax{\Vert }_2^2}{\partial a}& =\frac{\partial (y-ax{)}^{\top }(y-ax)}{\partial a}\\ & =\frac{\partial (y^{\top }-x^{\top }{a}^{\top })(y-ax)}{\partial a}\\ & =\frac{\partial (y^{\top }y-y^{\top }ax-x^{\top }{a}^{\top }y+x^{\top }{a}^{\top }ax)}{\partial a}\\ & =0-x^{\top }y-x^{\top }y+2x^{\top }xa\\ & =-2x^{\top }y+2x^{\top }xa\\ & =0\end{array}\text{\hspace{1em}(9)}$$
由式（9）为0可知，$a=(x^{\top }x{)}^{-1}{x}^{\top }y$，前提是$x^{\top }x$可逆，即$x$的各个维度之间线性无关，否则无法求解。那么，我们可以得到最小二乘法的解为
$$\begin{array}{rl}{\vec{a}}^{\ast }& =({\vec{X}}^{\top }\vec{X}{)}^{-1}{\vec{X}}^{\top }\vec{y}\\ {\vec{b}}^{\ast }& =\vec{y}-\vec{X}{\vec{a}}^{\ast }\end{array}\text{\hspace{1em}(10)(11)}$$
对与线性回归中出现的多重共线性、前提假设等问题详见后续系列文章。

2 sklearn中的多元线性回归

sklearn中的经典线性回归模型是sklearn.linear_model.LinearRegression，而在sklearn.linear_model中还有其他的线性回归模型，如岭回归、Lasso回归、ElasticNet回归等，这些模型都是线性回归模型的变种，后续会详细介绍。这里我们先介绍sklearn.linear_model.LinearRegression的使用方法。

2.1 线性回归器对象

sklearn.linear_model.LinearRegression的主要参数如下：

• fit_intercept：是否计算截距项，默认为True
• copy_X：是否复制X，默认为True
• n_jobs：int，计算时的CPU数量，默认为1
• positive：是否强制回归系数为正，默认为False
  属性包括：
• coef_：回归系数
• intercept_：截距项
• rank_：X的秩
• singular_：X的奇异值
• n_features_in_：训练时的特征数量
• feature_names_in_：训练时的特征名称

2.2 线性回归器的使用

先导入相关的包和所需数据：

from sklearn.metrics import mean_squared_error as mse
from toolkit import load_california_housing,build_optimization
import matplotlib as mpl
from matplotlib import pyplot as plt
mpl.rcParams['font.family'] = 'SimHei'
plt.rcParams['axes.unicode_minus'] = False
import sklearn
from sklearn.linear_model import LinearRegression as LR
x_reg_train,x_reg_test,y_reg_train,y_reg_test = load_california_housing()

之后建立模型，只使用默认参数：

reg = LR().fit(x_reg_train,y_reg_train)
y_reg_pred = reg.predict(x_reg_test)
print('sklearn的线性回归模型的MSE为：',mse(y_reg_test,y_reg_pred))

之后查看均方误差：

sklearn的线性回归模型的MSE为： 0.022488247605811043

还可以查看模型的各项属性：

# 查看模型各项属性
print(
    'sklearn的线性回归模型的参数为：',reg.coef_,
    '\n截距为：',reg.intercept_,
    '\n模型拟合的数据矩阵列数（特征个数）为：',reg.n_features_in_,
    '\n模型拟合的数据矩阵特征名称为：',reg.feature_names_in_,
    '\n模型拟合的数据矩阵秩为：',reg.rank_,
    '\n模型的奇异值为：',reg.singular_
)

得到结果：

sklearn的线性回归模型的参数为： [[ 1.29554539  0.09772236 -2.86904467  4.12599036 -0.05562903 -0.58601483 -0.81769524 -0.89876476]] 
截距为： [0.74280783] 
模型拟合的数据矩阵列数（特征个数）为： 8 
模型拟合的数据矩阵特征名称为： ['MedInc' 'HouseAge' 'AveRooms' 'AveBedrms' 'Population' 'AveOccup' 'Latitude' 'Longitude'] 
模型拟合的数据矩阵秩为： 8 
模型的奇异值为： [38.30039879 31.71719064 16.90965057  6.91233033  3.86834584  2.67444869 1.37551779  0.52616515]

2.3 线性回归器的评估

如何评估一个回归器的性能呢，在一般的回归算法模型中我们使用均方误差、绝对值误差等等，经典线性回归也不例外，但是在这两者之外，我们有其他的指标来描述回归器的性能，如下：

• $R^2$：决定系数，表示回归模型对总体观测值的拟合程度，取值范围为[0,1]，越接近1表示拟合程度越好，越接近0表示拟合程度越差，计算公式为
  $$R^2=1-\frac{{\sum }_{i=1}^n(y_i-\widehat{y_i}{)}^2}{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}\text{\hspace{1em}(12)}$$
  其中$\bar{y}$表示$y$的均值，$\widehat{y_i}$表示第$i$个样本的预测值，$y_i$表示第$i$个样本的真实值。
• 调整后的$R^2$：调整后的决定系数，表示回归模型对总体观测值的拟合程度，取值范围为[0,1]，越接近1表示拟合程度越好，越接近0表示拟合程度越差，计算公式为
  $$R_{adj}^2=1-\frac{(1-R^2)(n-1)}{n-p-1}\text{\hspace{1em}(13)}$$
  其中$n$表示样本数量，$p$表示特征数量。
  那么既然拥有了均方误差，我们为什么需要$R^2$呢？因为均方误差是一个绝对值，无法直观的表示模型的拟合程度，而$R^2$是一个相对值，可以直观的表示模型的拟合程度，因此$R^2$更加直观。$R^2$的含义是，模型对总体观测值的拟合程度，即模型对总体观测值的解释程度，因此$R^2$也被称为可决系数（coefficient of determination）。

在均方误差之外，可以查看$R^2$和调整后的$R^2$：

from sklearn.metrics import r2_score
print('sklearn的线性回归模型的R2为：',r2_score(y_reg_test,y_reg_pred))
# 手动计算调整后的R2
n = x_reg_test.shape[0]
p = x_reg_test.shape[1]
r2 = r2_score(y_reg_test,y_reg_pred)
r2_adj = 1-(1-r2)*(n-1)/(n-p-1)
print('sklearn的线性回归模型的调整后R2为：',r2_adj)

得到运行结果：

sklearn的线性回归模型的R2为： 0.5943232652466203
sklearn的线性回归模型的调整后R2为： 0.5935353521905322

通过绘制顺序图像来观察模型是否正确拟合了数据的分布，两条线重叠的部分越多，说明模型拟合的越好，如下图所示：

plt.plot(range(len(y_reg_test)),sorted(y_reg_test.values),c="black",label= "Data")
plt.plot(range(len(y_reg_pred)),sorted(y_reg_pred),c="red",label = "Predict")
plt.legend()
plt.show()

在这张图里可以看到，虽然预测值与真实值有很大的重复部分，但是在起始端与结束端还是有相当大量的值不符，这意味着如果出现数据的分布偏态，那么我们的预测值其实相当不靠谱，而$R^2$的值也印证了这一点，$R^2$不到0.6，这只能解释部分数据的潜在规律，距离对算法模型的预期还有相当大的差距。

---

后续文章中会阐述经典线性回归算法模型的问题以及相应的改善措施，敬请期待。