最小二乘法的几种视角

何为线性回归？就是给定一组散乱数据，要求拟合出一条直线，使得整体误差最小，如下左图所示（下图来源于马同学高等数学博客）。

已知散点$(x_i,y_i)$， 现要估计直线方程： $y=kx+b$.
如果所有点共线，那么有 $y_i=k{x}_i+b$严格成立。如果真是这样还需要拟合吗？ 抽取两个点立即可以计算一条直线。为了衡量模型的优劣，我们定义一个如下的误差函数，并使得该误差函数最小，就得到了最优的线性回归。上图右侧就标记了：$y_i-(k{x}_i+b)$，即观测数据 到 模型数据的距离，最小二乘的目的就是要让这个距离的平方之和最小。

$$ϵ=\sum (y_i-f(x_i){)}^2=\sum (y_i-(k{x}_i+b){)}^2\text{\hspace{1em}(1)}$$

现在要估计直线 $y=kx+b$， 因此需要求解 $k$ 和 $b$ 的值。有两类方法可以求解这个问题，但其实可以统一起来。

1、通过求导计算

直接对公式(1)求导，可以得到

$$\partial ϵ/\partial k=-2\sum [y_i-(k{x}_i+b)]x_i\text{\hspace{1em}(2)}$$

$$\partial ϵ/\partial b=-2\sum y_i-(k{x}_i+b)\text{\hspace{1em}(3)}$$

令导数为0，联立(2)(3)可以构造关于 $k$ 和 $b$的方程组，求解可以得到

$$k=[\sum (x_i-\bar{x})(y_i-\bar{y})]/\sum (x_i-\bar{x}{)}^2\text{\hspace{1em}(4)}$$

$$b=\bar{y}-k\bar{x}\text{\hspace{1em}(5)}$$

其中，$\bar{x}=\sum x_i/n，\bar{y}=\sum y_i/n$，具体推导参见：知乎：线性回归与最小二乘法

2、通过矩阵计算

具体推导如下所示（来源于：线性回归原理及实现（一）：最小二乘法）

3、线性方程组角度理解

一般来讲，线性方程组 $Ax=b$ 按约束条件可以分为三类：
（1）未知数个数 小于 方程个数 ， 方程超定， 无解
（2）未知数个数 等于 方程个数 ， 方程有唯一解
（3）未知数个数 大于 方程个数， 方程欠定，无解
最小二乘线性回归实际应当属于第一类问题，求解的未知数只有两个，但限定条件很多。
如下如下，如果我们只看没有平方运算的误差项，我们的目标其实是希望用n维空间的$\vec{X}$ 和 $\vec{1}$来线性逼近$\vec{Y}$. 很显然如果上述向量都是二维的，那么可以做到完美逼近。

$$\sum y_i-(k{x}_i+b)=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]-(k\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]+b\left[\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right])$$

但是，这几个向量都是高维的，这几个向量几乎无法共面，因此根本无法做到。终于要搬出这张图，$y$本身不能被$x$ 和 $1$ 两个向量张成，那只需将$y$投影到$x$ 和 $1$所在的平面， 然后这个垂足到$y$的距离即是最小值。

假设: $A=[a_1,a_2]=[e_1,e_2]$, 注意这里$a_1、a_2$是列向量

$e_3$是$e_1$ 和 $e_2$的线性组合：$\overrightarrow{OP}=k{a}_1+b{a}_2$， 设 $X=[k,b{]}^T$，则有

$\overrightarrow{OP}=AX$

另外，$y-e_3=y-AX$, 当$OP$ 垂直于 $yP$时这个距离最近。

所以有

$$a_1^T(y-AX)=0，a_2^T(y-AX)=0$$

合并起来：

$$A^{T}y-A^{T}AX=0\to A^{T}AX=A^{T}y$$

所以

$$X=(A^{T}A{)}^{-1}{A}^{T}y$$

参考资料：
[1] 线性回归原理及实现（一）：最小二乘法 https://blog.csdn.net/qq_32864683/article/details/80368135
[2] 如何理解最小二乘法？ https://blog.csdn.net/ccnt_2012/article/details/81127117
[3] 最小二乘法理论、推导、算法 https://blog.csdn.net/lql0716/article/details/70165695
[4] 最小二乘解（Least-squares Minimization ） https://blog.csdn.net/kokerf/article/details/72437294
[5] 知乎：线性回归与最小二乘法 https://zhuanlan.zhihu.com/p/36910496
[6] 简书：线性最小二乘和非线性最小二乘：https://www.jianshu.com/p/bf6ec56e26bd