【最小二乘法】矩阵法解法及Python代码

当线性方程组无解时，如何寻求一个最精确解，以贴合在坐标系中离散的坐标点。
给出三个笛卡尔坐标系下的坐标点：
$$（1,0）（2,0）（1,2）$$
找到一条直线$y=kx+b$，能够贴合这三点（显然不可能）。为表述方便，以 $x_1$代 $k$，$x_2$ 代 $b$，
得到以下方程组：
$$\{\begin{array}{c}1\times k+b=0\\ 2\times k+b=0\\ 1\times k+b=2\end{array}\iff \{\begin{array}{c}1\times x_1+x_2=0\\ 2\times x_1+x_2=0\\ 1\times x_1+x_2=2\end{array}$$
将线性方程组写成矩阵形式：
$$\begin{array}{c}A=\left[\begin{array}{cc}1& 1\\ 2& 1\\ 1& 1\end{array}\right]\end{array}\begin{array}{c}b=\left[\begin{array}{c}0\\ 0\\ 2\end{array}\right]\end{array}$$
得出矩阵符合关系式：$Ax=b$，而我们的目的则是求得一个原始列向量:
$$\begin{array}{c}x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\end{array}$$

分析线性方程组解的情况

（1）

根据矩阵$\begin{array}{c}A=\left[\begin{array}{cc}1& 1\\ 2& 1\\ 1& 1\end{array}\right]\end{array}$列向量线性无关,可得$m=3,n=2,r=2$。
由$r<m,且n=r$可知：线性方程组无解，或存在唯一解。

（2）

由于向量b=$\begin{array}{c}\left[\begin{array}{c}0\\ 0\\ 2\end{array}\right]\end{array}$，无法由$\begin{array}{c}A=\left[\begin{array}{cc}1& 1\\ 2& 1\\ 1& 1\end{array}\right]\end{array}$线性组合得到,即向量b不在列空间C(A)上。

综上所述可知，线性方程组无解，准确来说，无精确解。

寻找近似解

由线性方程组$Ax=b，即可以得到矩阵$$\begin{array}{c}A=\left[\begin{array}{cc}1& 1\\ 2& 1\\ 1& 1\end{array}\right]\end{array}$的两个线性无关向量：
$$\begin{array}{c}{a}_1=\left[\begin{array}{c}1\\ 2\\ 1\end{array}\right]\end{array}\begin{array}{c}{a}_2=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]\end{array}$$
这两个向量张成$R^3$空间中的一个二维空间，即矩阵A的列空间$C（A）$。由于向量$\begin{array}{c}b=\left[\begin{array}{c}0\\ 0\\ 2\end{array}\right]\end{array}$在列空间$C（A）$外，因此线性方程组$Ax=b$是无解的。

虽然线性方程组$Ax=b$不存在精确解，但我们可以寻求距离目标最近的近似解。根据上图，我们可以直观的思考到一个合理的方法——从向量$b$向二维空间即列空间$C(A)$上引垂线，得到$b$的投影向量$p$。由$p$和$b$可得误差向量$e=b-p$。
向量$b$经“某一矩阵”变换后，可得位于列空间$C(A)$上的投影向量$p$。而“某一矩阵”则称为“投影矩阵”。我们可以得到关系式：
$$p=Pb$$
引出投影向量$p$后，问题就清晰了，我们可以求出$p$向量来近似求解方程$A\hat{x}=p$对应$\begin{array}{c}x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\end{array}$。

求解的思路与步骤

由上图可知$p$向量的两个性质：
（1）
$p$向量位于列空间$C（A）$上，即$A\hat{x}=p$。
$$A\hat{x}=\begin{array}{c}\left[\begin{array}{cc}{a}_1& a_2\end{array}\right]\end{array}\begin{array}{c}\left[\begin{array}{c}\widehat{x_1}\\ \widehat{x_2}\end{array}\right]\end{array}=p$$
（2）
误差向量垂直于二维空间$C(A)$的任一组向量。
$$a_1・e=0和a_2・e=0$$
将$\{\begin{array}{c}e=b-p\\ p=A\hat{x}\end{array}$代入上述等式：
$$\{\begin{array}{c}{a}_{1}e=a_1(b-p)=a_1(b-A\hat{x})=0\\ a_{2}e=a_2(b-p)=a_2(b-A\hat{x})=0\end{array}$$

将向量内积转化为矩阵乘法

$$\{\begin{array}{c}{a}_1^T(b-A\hat{x})=0\\ a_2^T(b-A\hat{x})=0\end{array}$$
整理得：
$$\begin{array}{c}\left[\begin{array}{c}{a}_1^T\\ a_2^T\end{array}\right](b-A\hat{x})=0\end{array}$$
$$\begin{array}{c}A=\left[\begin{array}{cc}{a}_1& a_2\end{array}\right]\end{array}则\begin{array}{c}\left[\begin{array}{c}{a}_1^T\\ a_2^T\end{array}\right]=A^T\end{array}\Rightarrow$$
$$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$$
将上式代入$p=A\hat{x}$,得：
$$p=A・(A^{T}A{)}^{-1}{A}^{T}b$$
代入$p=Pb$，得：
$$P=A・(A^{T}A{)}^{-1}A$$
公式汇总：
$$\{\begin{array}{c}\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b\\ p=A・(A^{T}A{)}^{-1}{A}^{T}b\\ P=A・(A^{T}A{)}^{-1}A\end{array}$$

结论

最小二乘法的几何意义是高维空间中的一个向量在低维空间上的投影。

Python代码求解

代码

import numpy as np
from scipy import linalg
A=np.array([[1,1],
            [2,1],
            [1,1]])
b=np.array([0,0,2])
A_T_A=np.dot(A.T,A)
A_T_A_in=linalg.inv(A_T_A)
x_hat=np.dot(np.dot(A_T_A_in,A.T),b)
p=np.dot(A,x_hat)
p_matrix=np.dot(A,np.dot(A_T_A_in,A.T))
print("近似解x为：")
print(x_hat)
print("\n投影向量p为：")
print(p)
print("\n投影矩阵P为：")
print(p_matrix)

运行结果

近似解x为：
[-1.  2.]    

投影向量p为：
[1. 0. 1.]   

投影矩阵P为：
[[0.5 0.  0.5]
 [0.  1.  0. ]
 [0.5 0.  0.5]]