最小二乘的应用1-不相容方程组

1.1 不相容方程组概念理解

先解释一下什么是不相容方程组。当线性矩阵与其增广矩阵不等秩时，且系数矩阵的秩小于曾广矩阵的秩时，系数矩阵不相容。比如线性方程组$Ax=b$，$A$是系数矩阵，$[A|b]$是增广矩阵，当$A$的秩小于$[A|b]$的秩不时，$A$就称为不相容系数矩阵，$Ax=b$就称为不相容方程组。明显可以可以看出：不相容方程组没有非零解。
再来解释一下超定方程组。超定方程组是指有效方程的个数大于未知量个数的方程组。对于方程组$Bx=c$，$B$为$n\times m$矩阵，如果$B$列满秩，且$R[B|c]>n$，。则方程组没有精确解，此时称方程组为超定方程组。明显可以得出超定方程组没有非零解。
同时，可以明显得出，$R(B)=m<R[B|c]$，所以超定方程组一定是不相容方程组。而且不相容方程组的一个常见来源是超定方程组。

1.2 为什么会出现不相容方程组

按照正常的理解，数学是很严格的，两点确定一条直线，只要直到直线上的两个点的坐标，就能求得这条直线的方程。
例如：平面上有两个点的坐标分别为$(1,5)$和$(2,7)$，直线的方程可以表示为$y=ax+b$。那么可以列出方程：
$$\begin{array}{rl}5& =a+b\\ 7& =2a+b\end{array}$$
很容易就能求解出$a=2$和$b=3$的值。而且如果再加一个点$(3,9)$，并列三个方程组
$$\begin{array}{rl}5& =a+b\\ 7& =2a+b\\ 9& =3a+b\end{array}$$
很容易能求解。这个方程组很像超定方程组，但是其实不是的，因为其系数矩阵的秩等于曾广矩阵的秩。
但是，这是给出的点的坐标非常准确的情况，而实际情况中是无法得出非常准确的点的坐标的，比如测量误差的存在，无法得到准确的点的坐标。而且，为了能够收集更多的信息，通常情况会去测量尽量多的点。比如，为了得到某个直线的方程，工程师测量了直线上n个点的坐标，这些坐标都是有误差的。画图如下所示，所有蓝色的点都是测量得到的点，红色的直线是实际的直线。

此时，有n个测量点，会列出n个方程组，就是超定方程组了。

1.3 残差向量

残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。与之类比，在不相容方程组中，残差向量就是实际观察向量（$b$）与估计向量（$Ax$）的差值向量。
举个例子：给点线性不相容方程组$Ax=b$，没有非零解，退而求其次，我们找到了一个尽量满足方程组的解$x^{\ast }$，那么向量$A{x}^{\ast }-b$就是残差向量。
可以这样理解，为了使所求得的$x^{\ast }$尽量满足真实值$x$，应该使残差向量最小。也就是如果残差向量最小，就说明此时的$x^{\ast }$越准确。
在实际应用方面，任何最小化残差向量的方法，都可以用于寻找不相容方程的解。

1.4 超定方程组的最小二乘解

假设$Ax=b$是超定方程组，其中$A$是$n\times m$的矩阵且$n>m$，增广矩阵$[A|b]$的秩大于$m$。
超定方程组是无解的，但是我们可以求得其最小二乘解，将等式左右两端乘上$A$的转置。
$$A^{T}A{x}^{\ast }=A^{T}b$$
可以通过上述方程组得到$Ax=b$的最小二乘解。
$A^{T}A{x}^{\ast }=A^{T}b$ 是 $Ax=b$的关联方程组。

1.5 最小二乘解的定理

对于方程组$Ax=b$，其中$A\in m\ast n$，有：

1. 关联方程组：$A^{T}A{x}^{\ast }=A^{T}b$总是相容的；
2. $Ax=b$的最小二乘解恰好是$A^{T}Ax=A^{T}b$的解；
3. 最小二乘解是唯一的，当且仅当矩阵$A$的秩为$n$;

1.6 解的公式推导

定义方程组$Ax=b$，$A$为矩阵，$x$为变量，$b$为向量。
先写两个线性代数定理：

1. $\frac{\partial x^{T}A}{\partial x}=A$
2. $\frac{\partial x^{T}Ax}{\partial x}=Ax+A^{T}x$

最小二乘的优化目标：
$$\underset{x\in R}{\min }(||Ax-b|{|}_2{)}^2$$
这是多变量的优化问题，所以要对变量进行求导。
先进行展开
$$\begin{array}{rl}(||Ax-b|{|}_2{)}^2& =(Ax-b{)}^T(Ax-b)\\ & =x^T{A}^{T}Ax-b^{T}Ax-x^T{A}^{T}b+b^{T}b\end{array}$$
由此得到：
$$\frac{\partial (||Ax-b|{|}_2{)}^2}{\partial x}=2A^{T}Ax-2A^{T}b$$
让上式等于零可得
$$x=(A^{T}A{)}^{-1}{A}^{T}b$$