【Math】线性方程组的最小二乘解

在SLAM问题中，经常需要解一些方程数远大于未知量的超定线性方程组$Ax=0$或$Ax=b$，那么这种情况下，从解析解的角度上看，是无解的，但是我们又需要给出一个答案，此时求解的就是最小二乘解。

线性方程组的解析解

线性方程组分为齐次线性方程组$Ax=0$和非齐次线性方程组$Ax=b$，其区别在于常数项是否为$0$向量。其中，$x$是$n$维向量。

对于齐次线性方程组$Ax=0$，是否有解析解直接取决于$A$的秩。分为以下几种情况：

• $r(A)=n$，解析解有且仅有零解
• $r(A)<n$，解析解有无穷解

假设此时：$r(A)=n$，其中$A$为$m$行$n$列的矩阵，$m>>n$（即线性无关方程个数大于未知数个数），要严格论解析解的话只有零解。而在这种情况下，我们想要求解其非零解，此时可以通过最小二乘求解近似解。

对于非齐次线性方程组$Ax=b$，是否有解析解取决于$A$的增广矩阵$(A|b)$的秩。分为以下几种情况：

• 如果$r(A)=r(A|b)=n$，解析解有且仅有唯一解
• 如果$r(A)=r(A|b)<n$，解析解有无穷多解
• 如果$r(A)<r(A|b)$，解析解无解

假设此时：$r(A)<r(A|b)$，其中$A$为$m$行$n$列的矩阵，$m>>n$（即线性无关方程个数大于未知数个数），要严格论解析解的话无解。此时没有向量$x$能够同时满足$Ax=b$，因此通常只能求解最小二乘近似解，且前提是$r(A)=n$。

事实上，我们在解决许多实际问题时，尽管解析解只有零解或者无解，但我们又不得不求近似解时（尽管它不是完全准确），此时可以通过最小二乘求解近似解。

最小二乘解

最小二乘解主要有分为两种：特征值解、奇异值解。

设$A$是$n$阶方阵，如果存在数$\lambda$和非零$n$维列向量$x$，使得$Ax=\lambda x$成立，则称$\lambda$是矩阵$A$的一个特征值，称$x$为矩阵$A$的特征向量。

对于任一给定的矩阵$A_{m\ast n}$，都存在这样的分解：

$$A=UD{V}^T$$

其中：

• $U$是一个$m\times m$的正交矩阵，其中的列向量叫做$A$的左奇异向量
• $D$是一个$m\times n$的对角矩阵，其中的对角元叫做$A$的奇异值（通常对角元素降序排列）
• $V$是一个$n\times n$的正交矩阵，其中的列向量叫做$A$的右奇异向量

齐次方程组的最小二乘解

特征值解

在SLAM中，我们常遇到的情况是，通过大量具有一定噪声的观测值，构造方程数远大于未知量的超定线性方程组$Ax=0$，其中$A\in R^{m\ast n}$，$m>>n$，这时候往往没有严格意义上的解析解。

比如：在求解两张图像的本质矩阵$E$时，我们会匹配大量的特征点对，然后基于对极约束构造线性方程组$Ae=0$求解本质矩阵的元素向量$e$。此时，特征点对的个数往往远超过本质矩阵的元素数（即$m>>n$），且因为点位噪声的存在，对极约束不是严格成立的（即$Ax\approx 0$）。面对这种情况，我们通常的做法是求最小二乘解。即：

$$\hat{x}=arg\underset{\mathbf{x}}{\min }||Ax|{|}_2^2$$

但我们立马发现一个问题，如前所述的尺度不变性，如果$x_s$是一个解，则$k_s{x}_s$也是解，则当我们求出一个解后，无限减小解向量的模长，$||Ax|{|}_2^2$不就会无限小吗，到底该取哪个呢？这显然这陷入一个僵局。

所以，我们要给$x$增加一个约束，即限定它的模长为一个常量，比如最常用的单位模长$1$，即$x$必须满足，$||x|{|}_2^2=1$。这就重新构建了一个带约束的最小二乘问题：

$$\hat{x}=arg\underset{\mathbf{x}}{\min }||Ax|{|}_2^2\text{ , subject to }||x|{|}_2^2=1$$

根据拉格朗日乘数法，另

$$L(x,\lambda )=||Ax|{|}_2^2+\lambda (1-||x|{|}_2^2)$$

要求$L(x,\lambda )$最小值，则首先求极值，即一阶偏导为$0$的点，我们分别对$x$、$\lambda$求偏导并另其等于0：

$$L^{{}^{\prime }}(x)=2A^{T}Ax-2\lambda x=0$$
$$L^{{}^{\prime }}(\lambda )=1-x^{T}x=0$$

则有$A^{T}Ax=\lambda x$，这熟悉的公式告诉我们，$x$是矩阵$A^{T}A$特征值$\lambda$对应的的特征向量。

但是矩阵$A^{T}A$最多有$n$个特征值，对应着$n$个特征向量，哪一个是最小值点呢？

我们再作一下推导：当$x$是矩阵$A^{T}A$特征值为$\lambda$的特征向量时，有

$$||Ax|{|}_2^2=x^T{A}^{T}Ax=x^T\lambda x=\lambda x^{T}x=\lambda$$

因此，当$\lambda$取最小时，$||Ax|{|}_2^2$取最小值，即最小二乘解$\hat{x}$是矩阵$A^{T}A$最小特征值对应的特征向量。这就是超定线性方程组$Ax=0$的最小二乘解法。

奇异值解

求解$Ax=0$的最小二乘解，可以转化为$UD{V}^{T}x=0$的最小二乘解，由于$U$是正交矩阵，即求$D{V}^{T}x=0$的最小二乘解。

此时带约束的最小二乘问题就可以定义为：

$$\hat{x}=arg\underset{\mathbf{x}}{\min }||D{V}^{T}x|{|}_2^2\text{ , subject to }||x|{|}_2^2=1$$

因为$V$是正交矩阵，有$||x|{|}_2^2=||V^{T}x|{|}_2^2$。同时令$y=V^{T}x$，问题可简化为：

$$\underset{\mathbf{x}}{\min }||Dy|{|}_2^2\text{ , subject to }||y|{|}_2^2=1$$

由于$D$是对角矩阵，通常对角元素降序排列，且$||y|{|}_2^2=1$，那么最优解$\hat{y}=(0,0,0,...,1{)}^T$。此时，$\hat{x}=V\hat{y}$，为$V$最小奇异值对应的列向量。

非齐次方程组的最小二乘解

特征值解

在SLAM中，我们常遇到的情况是，通过大量具有一定噪声的观测值，构造方程数远大于未知量的超定线性方程组$Ax=b$，其中$A\in R^{m\ast n}$，$m>>n$，这时候往往没有严格意义上的解析解。

比如：在求解两张图像的单应性矩阵$H$时，我们会匹配大量的特征点对，然后基于单应性原理构造线性方程组$Ah=b$求解单应性矩阵的元素向量$h$。此时，特征点对的个数往往远超过本质矩阵的元素数（即$m>>n$），且因为点位噪声的存在，单应性原理不是严格成立的（即$Ax\approx b$）。面对这种情况，我们通常的做法是求最小二乘解。即：

$$\hat{x}=arg\underset{\mathbf{x}}{\min }||b-Ax|{|}_2^2$$

即：

$$L(x)=||b-Ax|{|}_2^2$$

要求$L(x,\lambda )$最小值，则首先求极值，即一阶偏导为$0$的点，我们对$x$求导并另其等于0：

$$L^{{}^{\prime }}(x)=-2A^T(b-Ax)=-2A^{T}b+2A^{T}Ax=0$$

则有$A^{T}Ax=A^{T}b$。则当$A^{T}A$可逆时，超定线性方程组$Ax=b$的最小二乘解为：

$$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$$

值得注意的是，$A^{T}A$可逆的前提是，$A$为非奇异矩阵，否则其行列式则为$0$，不可逆。换句话说，即要求系数矩阵$A$行不相关，是满秩矩阵，$A^{T}A$则可逆。如果$A$不是满秩矩阵，说明约束不够，仍无法得到可靠的最小二乘近似。

奇异值解

求解$Ax=b$的最小二乘解，可以转化为$UD{V}^{T}x=b$的最小二乘解，由于$U$是正交矩阵，即求$D{V}^{T}x=U^{T}b$的最小二乘解。

此时最小二乘问题就可以定义为：

$$\hat{x}=arg\underset{\mathbf{x}}{\min }||U^{T}b-D{V}^{T}x|{|}_2^2$$

令$c=U^{T}b$，$y=V^{T}x$，则：

$$\underset{\mathbf{x}}{\min }||c-Dy|{|}_2^2$$

由于$m>>n$，可以将矩阵结构写出来：

$$\left[\begin{array}{cccc}{d}_1& & & \\ & d_2& & \\ & & \ddots & \\ & & & d_n\\ 0& 0& 0& 0\\ ⋮& ⋮& ⋮& ⋮\\ 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\left[\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_n\\ c_{n+1}\\ ⋮\\ c_m\end{array}\right]$$

那么，$y_i=c_i/d_i$。

最终再求解$y=V^{T}x$，由于$V$是正交矩阵，$x=Vy$。

总结

方程数远大于未知量的超定线性方程组的最小二乘解，为：

线性方程组	特征值解	奇异值解
齐次	$A^{T}A$最小特征值对应的特征向量	$A$最小奇异值对应的右奇异向量
非齐次	$(A^{T}A{)}^{-1}{A}^{T}b$	$A$的右奇异矩阵$\ast (c/d)$

其实，从这里就可以看出了，特征值和奇异值是一定存在某种内部关联的。

相关阅读

• 从零认识最小二乘法
• 线性方程组的最小二乘解
• 【代数之美】线性方程组Ax=0的求解方法
• 矩阵SVD分解（理论部分II——利用SVD求解最小二乘问题）
• SVD求解线性方程组
• 矩阵分解 (特征值/奇异值分解+SVD+解齐次/非齐次线性方程组)