线性代数学习笔记10-3：奇异值分解SVD（从四个子空间角度理解）、瘦奇异值分解（thin SVD）

从四个子空间角度理解SVD

$$\mathbf{A}={\mathbf{U}}_{\mathbf{m}\times \mathbf{m}}{\mathbf{\Sigma }}_{\mathbf{m}\times \mathbf{n}}{\mathbf{V}}_{\mathbf{n}\times \mathbf{n}}^{\mathbf{H}}$$

将$\mathbf{A}$视为线性变换，并将整个${\mathbf{R}}^n$空间拆分为两部分，即$\mathbf{A}$的行空间（维数$r$）和零空间（维数$n-r$，行空间的正交补）：

1. $\mathbf{A}$的行空间中，存在第一部分标准正交基${\mathbf{v}}_i(i=1,2,...,r)$
   $\mathbf{A}$对应的线性变换将行空间中的${\mathbf{v}}_i$映射为$\mathbf{A}$的列空间中的一个非零向量${\sigma }_i{\mathbf{u}}_i=\mathbf{A}{\mathbf{v}}_i$（视为对$\mathbf{A}$的列向量的线性组合）；
   $$\begin{array}{rl}\mathbf{A}\left[\begin{array}{llll}{\mathbf{v}}_1& {\mathbf{v}}_2& \cdots & {\mathbf{v}}_r\end{array}\right]& =\left[\begin{array}{llll}{\sigma }_1{\mathbf{u}}_1& {\sigma }_2{\mathbf{u}}_2& \cdots & {\sigma }_r{\mathbf{u}}_r\end{array}\right]\\ & =\left[\begin{array}{llll}{\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_r\end{array}\right]\left[\begin{array}{llll}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right]\end{array}$$
   此即${\mathbf{U}}_{m\times n}{\hat{\mathbf{V}}}_{n\times r}={\hat{\mathbf{U}}}_{m\times r}{\hat{\mathbf{\Sigma }}}_{r\times r}$，对应下图中的红色边框部分

注意，$\mathbf{A}$的行空间中的向量$\mathbf{x}$到列空间中的向量$\mathbf{Ax}$映射，为一一映射
也就是说对于行空间中的向量$\mathbf{x}\ne \mathbf{y}$，则必有列空间中的向量$\mathbf{Ax}\ne \mathbf{Ay}$
证明：
反证法：对于行空间的向量$\mathbf{x}\ne \mathbf{y}$，假设有$\mathbf{Ax}=\mathbf{Ay}$
则$\mathbf{A}(\mathbf{x}-\mathbf{y})=0$，这就是说，向量$(\mathbf{x}-\mathbf{y})$在零空间中；
另一方面，向量$(\mathbf{x}-\mathbf{y})$一定在行空间中（两个行空间中的向量的线性组合）
向量$(\mathbf{x}-\mathbf{y})$不可能既在行空间中，又在零空间中，因此假设不成立

2. $\mathbf{A}$的零空间中，有第二部分标准正交基${\mathbf{v}}_i(i=r+1,r+2,...,n)$
   $\mathbf{A}$对应的线性变换将${\mathbf{v}}_i$映射为零向量，满足$\mathbf{A}{\mathbf{v}}_i=0$；
   体现在${\mathbf{\Sigma }}_{m\times n}$中，就是其右下角的0元素，对应上图蓝色边框部分

上面是从$\mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^{\mathbf{H}}\Rightarrow \mathbf{AV}=\mathbf{U\Sigma }$的角度出发；
从${\mathbf{A}}^{\mathbf{H}}=\mathbf{V}{\mathbf{\Sigma }}^{\mathbf{H}}{\mathbf{U}}^{\mathbf{H}}\Rightarrow {\mathbf{A}}^{\mathbf{H}}\mathbf{U}=\mathbf{V}{\mathbf{\Sigma }}^{\mathbf{H}}$的角度同理可知：$\mathbf{U}$给出了${\mathbf{A}}^H$的行空间和零空间的标准正交基

结论

我们在$\mathbf{A}$的四个子空间中，寻找了两组合适的基：

• 第一组是${\mathbb{C}}^{n\times n}$空间中的标准正交基，由两部分构成：
  ${\mathbf{v}}_i(i=1,2,...,r)$为行空间中的$r$个标准正交基
  ${\mathbf{v}}_i(i=r+1,r+2,...,n)$为零空间中的标准正交基
• 第二组是${\mathbb{C}}^{m\times m}$空间中的标准正交基，由两部分构成：
  ${\mathbf{u}}_i(i=1,2,...,r)$为列空间中的$r$个标标准正交基
  ${\mathbf{u}}_i(i=r+1,r+2,...,m)$为左零空间中的标准正交基

瘦奇异值分解（thin SVD）

${\mathbb{V}}^m$空间的一组正交基是$U=\left[\begin{array}{cc}{U}_r& U_{m-r}\end{array}\right]=\left[\begin{array}{ccccc}{\mathbf{u}}_1& \cdots & {\mathbf{u}}_r|{\mathbf{u}}_{r+1}& \cdots & {\mathbf{u}}_m\end{array}\right]$
${\mathbb{V}}^n$空间的一组正交基是$V=\left[\begin{array}{cc}{V}_r& V_{n-r}\end{array}\right]=\left[\begin{array}{ccccc}{\mathbf{v}}_1& \cdots & {\mathbf{v}}_r|{\mathbf{v}}_{r+1}& \cdots & {\mathbf{v}}_n\end{array}\right]$
对应了四个子空间：
$$\begin{array}{rl}A{\mathbf{v}}_i& ={\sigma }_i{\mathbf{u}}_i,i=1,\dots ,r\\ A{\mathbf{v}}_i& =0_i,i=r+1,\dots ,n\\ A^H{\mathbf{u}}_i& ={\sigma }_i{\mathbf{v}}_i,i=1,\dots ,r\\ A^H{\mathbf{u}}_i& =0,i=r+1,\dots ,m,\end{array}$$

实际上其中的$n-r$个${\mathbf{v}}_i$ 和 $m-r$个${\mathbf{u}}_i$是“多余”的
因为只要求它们被映射为零向量（而不要求有$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$的一一映射关系），或者说线性变换$\mathbf{A}$并未对这些向量进行实质性的操作（$\mathbf{A}$将多余的${\mathbf{v}}_i$降维压缩为零向量，而${\mathbf{u}}_i$则是那些线性变换后的新空间中与变换本身无关的多余维度）

从关注线性变换$\mathbf{A}$的本质的角度，我们完全可以忽略零空间和左零空间，只关注行空间和列空间之间的一一映射
那么，有$A$的瘦奇异值分解（thin SVD）如下：$$\begin{array}{rl}A& =\left[\begin{array}{cc}{U}_r& U_{m-r}\end{array}\right]\left[\begin{array}{cc}D& 0\\ 0& 0\end{array}\right]\left[\begin{array}{c}{V}_r^H\\ V_{n-r}^H\end{array}\right]=U_{r}D{V}_r^H\\ & =\left[\begin{array}{ccc}{\mathbf{u}}_1& \cdots & {\mathbf{u}}_r\end{array}\right]\left[\begin{array}{ccc}{\sigma }_1& & \\ & \ddots & \\ & & {\sigma }_r\end{array}\right]\left[\begin{array}{c}{\mathbf{v}}_1^H\\ ⋮\\ {\mathbf{v}}_r^H\end{array}\right]\\ & ={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^H+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^H,\end{array}$$

理论的统一

前面笔记10-1说过，SVD（$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$）中，$\mathbf{\Sigma }$奇异值$\sigma \ge 0$；

• 若$\mathbf{A}$为可逆矩阵$r=n$，没有0特征值，
  则${\mathbf{A}}^T\mathbf{A}$和$\mathbf{A}{\mathbf{A}}^T$特征值全为正，为正定矩阵，对应$\mathbf{A}$奇异值全为正；
• 若$\mathbf{A}$为不可逆矩阵$r<n$，有0特征值，
  则${\mathbf{A}}^T\mathbf{A}$和$\mathbf{A}{\mathbf{A}}^T$特征值正数和0，为半正定矩阵，对应$\mathbf{A}$奇异值为正数和0

因此有：
$\mathbf{A}$不可逆（$r<n$）$⟺$
$\mathbf{\Sigma }$对角元为正数和0（存在奇异值为0）$⟺$
$\mathbf{A}$存在零空间（维度$n-r>0$），零空间中的一部分向量${\mathbf{v}}_i$被线性变换$\mathbf{A}$映射为零向量（$\mathbf{A}{\mathbf{v}}_i=0$）$⟺$
$\mathbf{Ax}=0$有非零解 $⟺$
$\mathbf{A}$的列向量组线性相关