SVD求解线性方程组

SVD分解

对于任一给定的矩阵${\mathbf{A}}_{m\times n}$，都存在这样的分解：
$$\mathbf{A}=\mathbf{U}\mathbf{D}{\mathbf{V}}^T$$
这里:
$\mathbf{U}$是一个$(m\times m)$的正交矩阵，
$\mathbf{D}$是一个$(m\times n)$的对角矩阵，
$\mathbf{V}$是一个$(n\times n)$的正交矩阵。

$\mathbf{D}$中的对角元叫做$\mathbf{A}$的奇异值，
$\mathbf{U}$中的列向量叫做$\mathbf{A}$的左奇异向量，
$\mathbf{V}$中的列向量叫做$\mathbf{A}$的右奇异向量。

SVD解优化问题

解非齐次线性方程组（Ax = b)

问题等价于$\min \parallel \mathbf{A}\mathbf{x}-\mathbf{b}{\parallel }^2$，是一个非线性优化问题。
对A进行SVD分解
$$\begin{gathered} \min \parallel \mathbf{A}\mathbf{x}-\mathbf{b}{\parallel }^2 \\ =\min \parallel \mathbf{U}\mathbf{D}{\mathbf{V}}^T\mathbf{x}-\mathbf{b}{\parallel }^2 \\ =\min \parallel \mathbf{D}{\mathbf{V}}^T\mathbf{x}-{\mathbf{U}}^T\mathbf{b}{\parallel }^2 \end{gathered}$$
设$\mathbf{y}={\mathbf{V}}^T\mathbf{x}$, $\mathbf{c}={\mathbf{U}}^T\mathbf{b}$，则$\min \parallel \mathbf{D}{\mathbf{V}}^T\mathbf{x}-{\mathbf{U}}^T\mathbf{b}{\parallel }^2$可以表述为$\mathbf{D}\mathbf{y}=\mathbf{c}$，方程组的解为${\mathbf{y}}_i={\mathbf{c}}_i/{\mathbf{d}}_i$

解齐次方程组(Ax = 0)

问题等价于$\min \parallel \mathbf{A}\mathbf{x}{\parallel }^2$
上式转化为：
$$\begin{gathered} \min \parallel \mathbf{A}\mathbf{x}{\parallel }^2 \\ =\min \parallel \mathbf{U}\mathbf{D}{\mathbf{V}}^T\mathbf{x}{\parallel }^2 \end{gathered}$$
令$\mathbf{y}={\mathbf{V}}^T\mathbf{x}$，则上式变为
$$\min \parallel \mathbf{D}\mathbf{y}{\parallel }^2$$
D是一个对角矩阵，且对角元素按照递减的顺序排列，所以最小值即最优解在$\mathbf{y}=(0,0,...,1{)}^T$时取得，此时$\mathbf{x}=\mathbf{V}\mathbf{y}$，所以最优解就是$\mathbf{V}$的最小奇异值对应的列向量。比如，最小奇异值在第10行10列，那么解向量$\mathbf{x}$就等于$\mathbf{V}$的第10个列向量.

参考链接: link.