矩阵（二）：为什么Ax=0的解为最小奇异值对应的向量？

参考资料

解超定方程 Ax=0

1 📖 解超定方程

工程中很多问题会归结为求超定方程$\mathbf{Ax}=0$ ， $\mathbf{A}$是 m*n的矩阵，且m>n 。如SLAM中三角化地图点，PnP等一些问题都是求解这个方程。

很显然，这个方程有一个0解，但这不是我们想要的，我们实际想求非零解。

为了求非零解，我们对 $\mathbf{A}$加上一个约束$\Vert \mathbf{x}{\Vert }^2=1$。也就是限制 $\mathbf{x}$的长度为1，并构建成一个带约束的最小二乘问题：
$$\hat{\mathbf{x}}=\arg \min \Vert \mathbf{Ax}{\Vert }^2,\text{ subject to }\Vert \mathbf{x}{\Vert }^2=1(1)$$
这是一个带约束的最小二乘问题，我们把拉格朗日搬出来：
$$\begin{array}{rl}L(\mathbf{x},\lambda )& =\Vert \mathbf{Ax}{\Vert }^2+\lambda \left(1-\Vert \mathbf{x}{\Vert }^2\right)\\ & ={\mathbf{x}}^T{\mathbf{A}}^T\mathbf{Ax}+\lambda \left(1-{\mathbf{x}}^T\mathbf{x}\right)\end{array}(2)$$
为了求极值，我们分别对$\mathbf{A}$和 $\lambda$求偏导数，令为0
$$\begin{gathered} \begin{array}{r}\frac{\partial L(\mathbf{x},\lambda )}{\partial \mathbf{x}}=2{\mathbf{A}}^T\mathbf{Ax}-2\lambda \mathbf{x}=0\end{array}(3) \\ \begin{array}{r}\frac{\partial L(\mathbf{x},\lambda )}{\partial \lambda }=1-{\mathbf{x}}^T\mathbf{x}=0\end{array}(4) \end{gathered}$$
把(3)式整理一下：
$$\begin{array}{r}\left({\mathbf{A}}^T\mathbf{A}-\lambda \mathbf{I}\right)\mathbf{x}=0(5)\\ {\mathbf{A}}^T\mathbf{Ax}=\lambda \mathbf{x}(6)\end{array}$$
注意：可以看出 $\lambda$和$\mathbf{x}$分别是${\mathbf{A}}^T\mathbf{A}$ 的特征值和特征向量。也就是说(1)式的解，就是这些特征向量中的一个。

问题来了，那么多的特征向量，应该选择哪个作为解呢？我们展开$\Vert \mathbf{Ax}{\Vert }^2$看一下：
$$\Vert \mathbf{Ax}{\Vert }^2={\mathbf{x}}^T{\mathbf{A}}^T\mathbf{Ax}={\mathbf{x}}^T\lambda \mathbf{x}=\lambda {\mathbf{x}}^T\mathbf{x}=\lambda (7)$$

上面（7）推导利用（6）和$\Vert \mathbf{x}{\Vert }^2=1$

也就是说，我们想要$\Vert \mathbf{Ax}{\Vert }^2$最小，就需要$\lambda$最小。

那方程（1）的非零解就是${\mathbf{A}}^T\mathbf{A}$的最小特征值和对应的特征向量

2 📖 关于SVD分解

假设$A$为8*9的矩阵，则SVD分解结果为
$$A=UD{V}^T$$

• U：左奇异向量，为8*8的正交矩阵
• V：右奇异向量，为9*9的正交矩阵，其转置为$V^T$
• D：一个8*9的对角矩阵，除了对角线元素均为0，对角线元素称为奇异值，一般来说奇异值是按照从大到小的顺序降序排列。因为每一个奇异值都是一个残差项，因此最后一个奇异值最小，其含义是最优的残差。因此其对用的奇异值向量就是最优解。这一部分可以参考我的关于SVD的笔记。