SVD分解求解线性方程组

SVD分解求解线性方程组

1. SVD分解

任一实矩阵 ${\mathbf{A}}_{m\times n}$ （典型情况：$m\ge n$），都可分解为：

$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }$$

${\mathbf{U}}_{m\times m}$：酉矩阵，$\mathbf{U}$ 的列向量叫做 $\mathbf{A}$ 的左奇异向量

${\mathbf{V}}_{n\times n}$：酉矩阵，$\mathbf{V}$的列向量叫做 $\mathbf{A}$ 的右奇异向量

${\mathbf{\Sigma }}_{m\times n}$：对角线元素叫做 $\mathbf{A}$ 的奇异值 ，沿对角线呈递减排列，且是非负值
$$\begin{gathered} {\mathbf{\Sigma }}_{m\times n}=\left[\begin{array}{ccccc}{\sigma }_0& 0& 0& \cdots & 0\\ 0& {\sigma }_1& 0& \cdots & 0\\ 0& 0& {\sigma }_2& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & {\sigma }_n\\ 0& 0& 0& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & 0\end{array}\right] \\ \text{where }{\sigma }_i\ge {\sigma }_{i+1} \\ {\sigma }_i\ge 0 \end{gathered}$$

2. 求解齐次线性方程组

齐次线性方程组：

$$\mathbf{Ax}=0$$

这里需要说明一下：

• 若 $\mathbf{x}$ 是一个解，那么 $\lambda \cdot \mathbf{x}$ 也是一个解
• 零解不是我们想要的

于是为了简便，表达为如下的带约束的最优化问题：

$$\min ||\mathbf{Ax}|{|}^2，\text{s.t. }||\mathbf{x}||=1$$

2.1 推导过程

$$||\mathbf{Ax}|{|}^2=||\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }\mathbf{x}|{|}^2=||\mathbf{\Sigma }{\mathbf{V}}^{\top }\mathbf{x}|{|}^2$$

令 $\mathbf{y}={\mathbf{V}}^{\top }\mathbf{x}$，那么 $||\mathbf{y}||=1$，则

$$\min ||\mathbf{Ax}|{|}^2=\min ||\mathbf{\Sigma }\mathbf{y}|{|}^2$$

可得 $\mathbf{y}=[0,\cdots ,1{]}^{\top }$ 一定是其中一个解，于是 $\mathbf{x}$ 等于 $\mathbf{V}$ 的最后一列。

3. 求解非齐次线性方程组

非齐次线性方程组：

$$\mathbf{Ax}=\mathbf{b}$$

表达为如下最优化问题：

$$\min ||\mathbf{Ax}-\mathbf{b}|{|}^2$$

3.1 推导过程

$$||\mathbf{Ax}-\mathbf{b}|{|}^2=||\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }\mathbf{x}-\mathbf{b}|{|}^2=||\mathbf{\Sigma }{\mathbf{V}}^{\top }\mathbf{x}-{\mathbf{U}}^{\top }\mathbf{b}|{|}^2$$

令 $\mathbf{y}={\mathbf{V}}^{\top }\mathbf{x},\mathbf{c}={\mathbf{U}}^{\top }\mathbf{b}$，则

$$\min ||\mathbf{Ax}-\mathbf{b}|{|}^2=\min ||\mathbf{\Sigma }\mathbf{y}-\mathbf{c}|{|}^2$$

可得 $y_i=c_i/{\sigma }_i$，$\mathbf{x}=\mathbf{Vy}$。