普通最小二乘法的推导证明

普通最小二乘法的推导证明

1、什么是最小二乘思想

简单地说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。从这个上也可以看出，最小二乘也可用于拟合数据模型。

2. 最小二乘法推导

我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面…

对于一元线性回归模型, 假设从总体中获取了 $n$ 组观察值 $(X_1，Y_1),(X_1,Y_2),(X_3,Y_3),...,(X_n,Y_n)$。对于平面中的这 $n$ 个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。

选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：

1. 用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。

2. 用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。

3. 最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。

最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。

3. 公式推导

1; 拟合曲线：$y=a+bx$

在此等式中，已经给定部分 $(x,y)$ 用来求解 $a,b$，因此我们换一下表达式的顺序：

$$==>>y=a+xb$$

2; 有任意观察点：$(x_i,y_i)$

3; 选取点的误差为：$d_i=y_i-(a+b{x}_i)$

4; 当 $D={\sum }_{i=1}^n{d}_i^2=0$ 时取值最小，直线拟合度最高

5; $D={\sum }_{i=1}^n{d}_i^2={\sum }_{i=1}^n(y_i-a-b{x}_i{)}^2$，分别对 $a,b$ 求一阶偏导

$$\begin{gathered} \frac{\partial D}{\partial a}=2\sum _{i=1}^n(y_i-a-x_{i}b)\ast (-1) \\ =-2(\sum _{i=i}^n{y}_i-na-\sum _{i=i}^n{x}_{i}b) \end{gathered}$$

$$\begin{gathered} \frac{\partial D}{\partial b}=2\sum _{i=1}^n(y_i-a-x_{i}b(-x_i) \\ =-2(\sum _{i=1}^n{x}_i{y}_i-\sum _{i=1}^n{x}_{i}a-\sum _{i=1}^n{x}_i^{2}b) \end{gathered}$$

6; 令 $\frac{\partial D}{\partial a}=0,\frac{\partial D}{\partial b}=0$，求解$a,b$。令 $n\overline{x}={\sum }_{i=1}^n{x}_i,n\overline{y}={\sum }_{i=1}^n{y}_i$，那么就有：

$$\{\begin{array}{l}-2({\sum }_{i=i}^n{y}_i-na-{\sum }_{i=i}^n{x}_{i}b)=0\\ -2({\sum }_{i=1}^n{x}_i{y}_i-{\sum }_{i=1}^n{x}_{i}a-{\sum }_{i=1}^n{x}_i^{2}b)=0\end{array}$$

进而有：

$$\{\begin{array}{l}n\overline{y}-na-n\overline{x}b=0\\ n^2\overline{xy}-n\overline{x}a-{\sum }_{i=1}^n{x}_i^{2}b=0\end{array}$$

求解得：

$$a=\overline{y}-\overline{x}b$$

代入：

$$\begin{gathered} n^2\overline{xy}-n\overline{x}(\overline{y}-\overline{x}b)-\sum _{i=1}^n{x}_i^{2}b=0 \\ {n}^2\overline{xy}-n\overline{xy}+n{\overline{x}}^{2}b-\sum _{i=1}^n{x}_i^{2}b=0 \\ b=\frac{n^2\overline{xy}-n\overline{xy}}{{\sum }_{i=1}^n{x}_i^2-n{\overline{x}}^2} \\ =\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2} \end{gathered}$$

总而言之：

$$\{\begin{array}{l}a=\overline{y}-\overline{x}b\\ b=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\end{array}$$

看到这里，你如果不能一眼看出来花间结果，心里一定有🐎奔腾。别担心，下面一步一步的将$b$解出来。$b$的求解需要根据求和性质进行化简，分别求分子与分母。求和性质，具体可以参考 Introductory Econometrics A Modern Approach (Fourth Edition) 一书（计量经济学导论，第4版，杰弗里·M·伍德里奇 著）的附录A。详细推导过程如下：

$$\{\begin{array}{l}{n}^2\overline{xy}-n\overline{xy}\\ =n^2\overline{xy}-n\overline{xy}-n\overline{yx}+n\overline{xy}\\ ={\sum }_{i=1}^n{x}_i{y}_i-\overline{y}{\sum }_{i=1}^n{x}_i-\overline{x}{\sum }_{i=1}^n{y}_i+{\sum }_{i=1}^n\overline{xy}\\ ={\sum }_{i=1}^n(x_i{y}_i-\overline{y}{x}_i-\overline{x}{y}_i+\overline{xy})\\ ={\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})\\ \\ ---\\ \\ {\sum }_{i=1}^n{x}_i^2-n{\overline{x}}^2\\ ={\sum }_{i=1}^n{x}_i^2-2n{\overline{x}}^2+n{\overline{x}}^2\\ ={\sum }_{i=1}^n{x}_i^2-2\overline{x}{\sum }_{i=1}^n{x}_i+{\sum }_{i=1}^n{\overline{x}}^2\\ ={\sum }_{i=1}^n(x_i^2-2\overline{x}{x}_i+{\overline{x}}^2)\\ ={\sum }_{i=1}^n(x_i-\overline{x}{)}^2\end{array}$$

再次强调一遍前面得出的结论：

拟合曲线：$y=a+bx$ 的最小二乘解为：

$$\{\begin{array}{l}b=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\\ a=\overline{y}-\overline{x}b\end{array}$$

一般形式

有了上述推导证明，普通最小二乘法一般形式可以写成（字母盖小帽表示估计值，具体参考应用概率统计）：$y={\beta }_{1}x+{\beta }_0$，其最小二乘解为：
$$\{\begin{array}{l}\widehat{{\beta }_1}=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\\ \widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}\end{array}$$

多元线性回归(Multiple Linear Regression)

在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

多元线性回归，主要是研究一个因变量与多个自变量之间的相关关系，跟一元回归原理差不多，区别在于影响因素（自变量）更多些而已。前面谈到的是一个因变量$y$与一个自变量$x$之间的一元线性相关关系，$y={\beta }_{1}x+{\beta }_0$；多元回归回归研究的是变量 $y$ 与可控变量 $x_1,x_2,x_3,...,x_k$ 之间的线性关系，$y={\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_k{x}_k+{\beta }_0$。

记 $n$ 组样本分别为 $(x_{i1},x_{i2},...,x_{ik},y_i),(i=1,2,..,n)$，令：

$$Y=\left(\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right),X=\left(\begin{array}{ccccc}1& x_{11}& x_{12}& ...& x_{1k}\\ 1& x_{21}& x_{22}& ...& x_{2k}\\ ...& ...& ...& ...& ...\\ 1& x_{n1}& x_{n2}& ...& x_{nk}\end{array}\right),\beta =\left(\begin{array}{c}{\beta }_0\\ {\beta }_1\\ ...\\ {\beta }_k\end{array}\right),ϵ=\left(\begin{array}{c}{ϵ}_0\\ {ϵ}_1\\ ...\\ {ϵ}_k\end{array}\right)$$

那么，多元线性回归方程矩阵形式为：$Y=X\beta +ϵ$。其中 $ϵ$ 代表随机误差， 其中随机误差分为：可解释的误差 和 不可解释的误差，随机误差必须满足以下四个条件，多元线性方程才有意义（一元线性方程也一样）

1. 服成正太分布，即指：随机误差$ϵ$必须是服成正太分布的随机变量；
2. 无偏性假设，即指：期望值为0；
3. 同共方差性假设，即所有的随机误差变量方差都相等；
4. 独立性假设，即指：所有的随机误差变量都相互独立，可以用协方差解释。

与普通最小二乘法推到相似，可以得到 $\beta$的最小二乘估计为：

$$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}Y$$

多元线性回归的基本原理和基本计算过程与一元线性回归相同，但由于自变量个数多，计算相当麻烦，一般在实际中应用时都要借助统计软件。这里只介绍多元线性回归的一些基本问题。

• $TODO$：证明可参考：《应用概率统计 张国权 著》第九章 回归分析

多项式回归模型与多变量线性回归模型

• 单变量线性回归： $y(x)={\beta }_0+{\beta }_1\ast x$
• 多变量线性回归： $y(x)={\beta }_0+{\beta }_1\ast x_1+{\beta }_2\ast x_2+...+{\beta }_k\ast x_k$
• 多项式回归： $y(x)={\beta }_0+{\beta }_1\ast x_1^1+{\beta }_2\ast x_2^2+...+{\beta }_k\ast x_k^k$

多项式回归始终还是线性回归，你可以令$x_2=x_2^2,x_3=x_3^3$，简单的数据处理一下就好了，这样上述多项式回归的模型就变成多变量线性回归的模型了。

reference

线性回归参考：

SPSS–回归-多元线性回归模型案例解析

普通最小二乘法的推导证明

最小二乘法详细推导过程

多元线性回归

线性回归 - 机器学习多元线性回归 - 一步一步详解 - Python代码实现

latex 书写参考：

有LaTeX的深厚底蕴，Markdown是果然最美的编辑语言！！

最小二乘法详细推导过程的md文件以及python源码下载(free)：https://download.csdn.net/download/orDream/89397591