公式推导线性回归模型

基本线性回归

   接下来用一个简单的项目代入线性回归模型。

任务定义

   任务描述：使用线性回归模型预测房价。
   数据集：Boston房价数据集，sklearn内置。

数据准备

   数据字段说明：

• CRIM：各城镇的人均犯罪率
• ZN：规划地段超过25,000平方英尺的住宅用地比例
• INDUS：城镇非零售商业用地比例
• CHAS：是否在查尔斯河边(=1是)
• NOX：一氧化氮浓度(/千万分之一)
• RM：每个住宅的平均房间数
• AGE：1940年以前建造的自住房屋的比例
• DIS：到波士顿五个就业中心的加权距离
• RAD：放射状公路的可达性指数
• TAX：全部价值的房产税率(每1万美元)
• PTRATIO：按城镇分配的学生与教师比例
• B：1000(Bk - 0.63)^2其中Bk是每个城镇的黑人比例
• LSTAT：较低地位人口
• Price：房价

from sklearn import datasets
boston = datasets.load_boston()     # 返回一个类似于字典的类
X = boston.data
y = boston.target
features = boston.feature_names
boston_data = pd.DataFrame(X,columns=features)
boston_data["Price"] = y #输出预测值
boston_data.head()

模型构建

   回归这个概念是19世纪80年代由英国统计学家郎西斯.高尔顿在研究父子身高关系提出来的，他发现：在同一族群中，子代的平均身高介于父代的身高以及族群的平均身高之间。具体而言，高个子父亲的儿子的身高有低于其父亲身高的趋势，而矮个子父亲的儿子身高则有高于父亲的身高的趋势。也就是说，子代的身高有向族群平均身高"平均"的趋势，这就是统计学上"回归"的最初含义。
   回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（特征）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。通常使用曲线/线来拟合数据点，目标是使曲线到数据点的距离差异最小。而线性回归就是回归问题中的一种，线性回归假设目标值与特征之间线性相关，即满足一个多元一次方程。通过构建损失函数，来求解损失函数最小时的参数w ：
   假设：数据集$D=(x_1,y_1),...,(x_N,y_N)，x_i\in R^p,y_i\in R,i=1,2,...,N，X=(x_1,x_2,...,x_N{)}^T,Y=(y_1,y_2,...,y_N{)}^T$
   假设X和Y之间存在线性关系，模型的具体形式为
$$\hat{y}=f(w)=w^{T}x$$
关于公式中将标量化为向量形式，我们可以举例：
$$y=w_0+w_1{x}_1+w_2{x}_2$$
其中，$w=\left[\begin{array}{c}{w}_0\\ w_1\\ w_2\end{array}\right]$，$x=\left[\begin{array}{c}1\\ x_1\\ x_2\end{array}\right]$。
   易化简为：
$$y=w^{T}x$$
   举例：现在我们取两个特征$X=x_1,x_2$，假设$Y$与$X$存在线性关系，$Y=f(w,X)$构成如下图构成所示的图像。在Boston房价任务的语境下，$Y$就是房价Price的预测值。而图中的红点，代表了来自于数据集的房价Price的真实值。

   显然，我们发现红点到平面的距离代表了预测值和真实值的误差（只是其中一种表现误差的方案）。不妨设误差为$e_i。$进一步来看，由于点分布与平面的上下，意味着误差有正负。为了做一个类似于归一化的工作，我们有两种方案。

一：${\sum }_{i=1}^N{e}_i^2$，将误差平方后求和。

• 优点：在后续优化中，易通过求导，进而使用梯度下降法。
• 缺点：平方后，会放大越大的误差，缩小越小的误差。

二：${\sum }_{i=1}^N|e_i|$，取误差绝对值后求和。

• 优点：避免放大越大的误差，缩小越小的误差。
• 缺点：在后续优化中，很难通过求导优化参数，可能需要如模拟退火、遗传算法等智能算法进行优化。（注：遗传算法的理论总结可以看我码得另一篇：传送门～）

   接下来我们将会选择第一种评估误差，也就是我们常用的MSE均方误差。关于均方误差的应用，初学的童鞋可以参考李宏毅老师的宝可梦task，会让你理解为什么我们要用这个东东。作为萌新，我也写了课程笔记：传送门～

评估误差（loss函数）

   接下来的脑补对话是我关于loss函数意义的一丢丢思考～
   为什么要评估误差？答：为了寻找最优的参数$W$，以构造最优的模型。
   参数$W$是谁？答：在基本的线性回归模型语境下，它就是公式$\hat{y}=f(w)=w^{T}x$中的$w$。
   难道我们初设的模型不是最优的？答：从某种意义上来说，$y$和$x$都是已知量，而$w$是未知量，实际上model是a set of function，我们需要通过评估模型输出的预测值与数据集给出的真实值的误差，来寻找合适的$w$，当我们找到了最佳参数，显然由它所构造的$\hat{y}=f(w)=w^{T}x$就是best function。
   sklearn关于评估的接口文档：地址。简要给出评估公式：

• MSE均方误差：$MSE(y,\hat{y})=\frac{1}{n_{samples}}{\sum }_{i=0}^{n_{samples}-1}(y^i-{\hat{y}}^i{)}^2$
• MAE平均绝对误差:$MAE(y,\hat{y})=\frac{1}{n_{samples}}{\sum }_{i=0}^{n_{samples}-1}|y^i-{\hat{y}}^i|$
• R2决定系数：$R^2(y,\hat{y})=1-\frac{{\sum }_{i=1}^n(y_i-\hat{y}i{)}^2}{\sum {i=1}^n(y_i-\bar{y}{)}^2}$
• 解释方差得分:$explainedvariance(y,\hat{y})=1-V_{ary}-\hat{y}{V}_{ary}$

在上一节，我们提到将使用MSE作为评估指标。
   现在我们如何构造loss函数？给出三种理解角度。

最小二乘法角度

   再次提醒：我们需要衡量真实值$y_i$与线性回归模型的预测值$w^T{x}_i$之间的差距，在这里我们和使用二范数的平方和L(w)来描述这种差距，即：
$$L(w)=\sum _{i=1}^N||w^T{x}_i-y_i|{|}_2^2=\sum _{i=1}^N(w^T{x}_i-y_i{)}^2=(w^T{X}^T-Y^T)(w^T{X}^T-Y^T{)}^T=w^T{X}^{T}Xw-2w^T{X}^{T}Y+Y{Y}^T$$
   现在给出具体推导过程：
$$\begin{gathered} L(w)=\sum _{i=1}^N(w^T{x}_i-y_i{)}^2=(w^T{x}_1-y_1{)}^2+(w^T{x}_2-y_2{)}^2+...+(w^T{x}_N-y_N{)}^N \\ =(w^T{x}_1-y_1,w^T{x}_2-y_2,...,w^T{x}_N-y_N)\left[\begin{array}{c}{w}^T{x}_1-y_1\\ w^T{x}_2-y_2\\ ⋮\\ w^T{x}_N-y_N\end{array}\right] \\ =[(w^T{x}_1,w^T{x}_2,...,w^T{x}_N)-(y_1,y_2,...,y_N)][\left[\begin{array}{c}{w}^T{x}_1\\ w^T{x}_2\\ ⋮\\ w^T{x}_N\end{array}\right]-\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_N\end{array}\right]] \\ =(w^T{X}^T-Y^T)(w^T{X}^T-Y^T{)}^T \\ =w^T{X}^{T}Xw-Y^{T}Xw-w^T{X}^{T}Y+Y^{T}Y \end{gathered}$$
其中，$Y^{T}Xw$和$w^T{X}^{T}Y$都是一个实数（可以设$w$、$X$和$Y$的维度分别为n x 1、n x n和n x 1，代入计算即可证明），对于实数$a$，$a^T=a$，即$Y^{T}Xw=(Y^{T}Xw{)}^T=w^T{X}^{T}Y$。同理，$Y^{T}Y=(Y^{T}Y{)}^T=Y{Y}^T$。因此，继续化简得到最终结果：
$$L(w)=w^T{X}^{T}Xw-2w^T{X}^{T}Y+Y{Y}^T$$
   因此，我们需要找到使得$L(w)$最小时对应的参数$w$，即：
$$\hat{w}=arg\min L(w)$$
为了达到求解最小化$L(w)$问题，我们应用高等数学的知识，使用求导来解决这个问题：
$$\frac{\partial L(w)}{\partial w}=2X^{T}Xw-2X^{T}Y=0$$
得到
$$X^{T}Xw=X^{T}Y$$
等式两边同时左乘$(X^{T}X{)}^{-1}$，化简得到
$$\hat{w}=(X^{T}X{)}^{-1}{X}^{T}Y$$
注意：此时，假设$(X^{T}X)$可逆。如果不能求逆，这就涉及到最优化中的对偶问题啦～这里暂时不做深入探讨，烦请谅解。而在实际应用中，求逆和求导是一件非常难的事情，那如何得到最优参数$w$呢？可以使用梯度下降法，我们不需要直接令偏导为0，而是仅通过求一阶偏导组成的梯度，辅以学习率，一步一步接近最优结果（但愿～）。

线性代数角度

   还可以从线性代数的角度理解评估误差。比如，我们依旧按照上图给出的假设：取两个特征$X=x_1,x_2$，假设$Y$与$X$存在线性关系，$Y=f(w,X)$构成图像。请大家切换到向量的思维方式，此时，真实值（也就是那个红点点～）用向量表示，相当于从原点出发到达该红点，也就是下图的红$y$箭头。而向量$y$到由$X=x_1,x_2$组成的平面的距离，相当于真实值和预测值的误差。那么这个距离就是平面的法向量，即图示的2⃣️。显然，根据向量加法，我们还需要求得向量1⃣️。我们发现向量1⃣️就是由$x_1$和$x_2$的线性组合，我们不妨设向量1⃣️为$w_1{x}_1+w_2{x}_2=Xw$，因此法向量2⃣️可以表示为
$$Y-Xw$$
又因为法向量与$X=x_1,x_2$的平面垂直，所以根据$<a,b>=a\cdot b=a^{T}b=0$得到：
$$X^T(Y-Xw)=0$$
即：
$$w=(X^{T}X{)}^{-1}{X}^{T}Y$$

数理统计角度

  假设存在噪声$ϵ\sim N(0,{\sigma }^2)$，则$y_i=f(w,x_i)+{ϵ}_i$，如下图所示。

此时有n个样本，每个样本概率为$P(y_i|x_i;w)$，由于$ϵ\sim N(0,{\sigma }^2)$且$P(y_i|x_i;w)=P(w^T{x}_i+{ϵ}_i)$ ，因此根据正态分布性质，$y_i|x_i\sim N(w^{T}x,{\sigma }^2)$。（注：$w^T{x}_i$是常数，与$ϵ$累加使得均值发生偏移）
  现在利用极大似然估计对参数$w$进行估计：
$$\begin{gathered} L(w)=logP(Y|X;w)=log\prod _{i=1}^{N}P(y_i|x_i;w)=\sum _{i=1}^{N}logP(y_i|x_i;w)=\sum _{i=1}^{N}log(\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2}))=\sum _{i=1}^N[log(\frac{1}{\sqrt{2\pi \sigma }})-\frac{1}{2{\sigma }^2}(y_i-w^T{x}_i{)}^2] \\ arg\underset{w}{\max }L(w)=arg\underset{w}{\min }[l(w)=\sum _{i=1}^N(y_i-w^T{x}_i{)}^2] \end{gathered}$$
又回到了最初的起点～与线性回归的最小二乘估计一致！

  总结：线性回归的最小二乘估计<==>噪声$ϵ\sim N(0,{\sigma }^2)$的极大似然估计。

优化方案（梯度下降）

  接下来给出一种优化loss函数的方案：基本的梯度下降法～参考李宏毅老师的宝可梦task实例。
  假设我们得到了优化等式：
$$\begin{gathered} f^{\ast }=arg\underset{f}{\min }L(f) \\ {w}^{\ast },b^{\ast }=arg\underset{w,b}{\min }L(w,b)=arg\underset{w,b}{\min }\sum _{n=1}^N({\hat{y}}^n-(b+w\cdot x_{cp}^n){)}^2 \end{gathered}$$
此时我们该如何优化它？搬出我们大名鼎鼎的Gradient Descent，又名梯度下降法。关于梯度可以看本人总结的另一篇——机器学习高等数学基础——多元微分总结。这里我们直接阐述优化过程。

Task1:只有一个参数w

  此时等式变为：
$$w^{\ast }=arg\underset{w}{\min }L(w)$$

1. 随机选取初始点$w^0$

2. 计算$\frac{\mathrm{d}L}{\mathrm{d}w}{|}_{w=w^0}$
   
   更新函数点：
   $$w^1\leftarrow w^0-\eta \frac{\mathrm{d}L}{\mathrm{d}w}{|}_{w=w^0}$$
   

3. 计算 $\frac{\mathrm{d}L}{\mathrm{d}w}{|}_{w=w^1}$
   
   更新函数点：
   $$w^2\leftarrow w^1-\eta \frac{\mathrm{d}L}{\mathrm{d}w}{|}_{w=w^1}$$

4. 以此类推，迭代。直到找到loss函数最小值处，算法结束。

Task2:有两个参数w和b

1. 随机选取初始点$w^0$和$b^0$
2. 计算$\frac{\partial L}{\partial w}{|}_{w=w^0,b=b^0}$和$\frac{\partial L}{\partial b}{|}_{w=w^0,b=b^0}$
   更新函数点：
   $$\begin{gathered} w^1\leftarrow w^0-\eta \frac{\partial L}{\partial w}{|}_{w=w^0,b=b^0} \\ {b}^1\leftarrow b^0-\eta \frac{\partial L}{\partial b}{|}_{w=w^0,b=b^0} \end{gathered}$$
3. 以此类推，迭代。直到找到loss函数最小值处，算法结束。

总结

  梯度公式：
$$\nabla L=\left[\begin{array}{c}\frac{\partial L}{\partial w}\\ \frac{\partial L}{\partial b}\end{array}\right]$$

  优化方向如图所示：

代码

   调用sklearn中的linear_model.LinearRegression()接口，这里来说明linear_model.LinearRegression()接口：地址。

from sklearn import linear_model      # 引入线性回归方法
lin_reg = linear_model.LinearRegression()       # 创建线性回归的类
lin_reg.fit(X,y)        # 输入特征X和因变量y进行训练
print("模型系数：",lin_reg.coef_)             # 输出模型的系数W
print("模型得分：",lin_reg.score(X,y))    # 输出模型的决定系数R^2

参考

• Datawhale集成学习项目地址
• 最小二乘法线性回归：矩阵视角