线性代数学习笔记10-1：奇异值分解SVD（SVD的由来和推导、SVD与极分解、SVD的应用）

回顾：

• 对于有n个线性无关特征向量的矩阵，可对角化$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$，特征向量矩阵$\mathbf{S}$列向量为特征向量
• 对于正定矩阵，特征值都是正数，所有特征向量之间是正交的，故特征向量矩阵$\mathbf{Q}$为正交矩阵，其对角化结果$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$（视为奇异值分解的特殊情况）
• 对于一般的任意矩阵，奇异值分解$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$，其中$\mathbf{U}$和$\mathbf{V}$为正交矩阵

当对角化（特征值分解）不可用时，我们转而寻求奇异值分解SVD，可将其视为“广义的特征值分解”

下面将看到，奇异值分解是矩阵最终的、最好的分解
ps.本文主要从“广义的特征值分解”角度来介绍SVD，也可从几何意义上理解

奇异值分解SVD

若矩阵${\mathbf{A}}_{m\times n}$的秩为$r$，行数为$m$，列数为$n$

奇异值分解SVD（Singular value decomposition）：任意矩阵可分解为$${\mathbf{A}}_{m\times n}={\mathbf{U}}_{m\times m}{\mathbf{\Sigma }}_{m\times n}{\mathbf{V}}_{n\times n}^T$$其中正交矩阵$\mathbf{U}$保存左奇异向量，正交矩阵$\mathbf{V}$保存右奇异向量
对角矩阵$\mathbf{\Sigma }$保存了奇异值$\sigma$，并且一定有奇异值$\sigma \ge 0$（总是约定奇异值非负）

SVD的由来

对于方阵，其特征向量满足$$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$$，矩阵形式为$\mathbf{A}\mathbf{S}=\mathbf{S}\mathbf{\Lambda }$
在此基础上，若存在$n$个无关特征向量（$\mathbf{S}$可逆），即可获得$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$

对于一般的“长方形矩阵”，向量$\mathbf{A}\mathbf{x}$和$\mathbf{x}$维度直接不对齐
我们退而求其次，类比“特征向量”，定义奇异向量：$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i,i=1,\cdots ,r$
写为矩阵形式$$\begin{array}{rl}A{V}_{r\times n}& =U_{m\times r}{\Sigma }_{r\times r}\\ A\left[v_1\cdots v_r\right]& =\left[u_1\cdots u_r\right]\left[\begin{array}{lll}{\sigma }_1& & \\ & \ddots & \\ & & {\sigma }_r\end{array}\right]\end{array}$$
要注意的是，由于矩阵秩$r$的限制，上面只能找到$r$个${\sigma }_i>0$

此即${\mathbf{U}}_{m\times n}{\hat{\mathbf{V}}}_{n\times r}={\hat{\mathbf{U}}}_{m\times r}{\hat{\mathbf{\Sigma }}}_{r\times r}$，对应下图中的红色部分

下面将蓝色部分“填充”完整，得到正交矩阵（方阵）$\mathbf{U}$和$\mathbf{V}$

剩下的奇异值${\sigma }_i=0$，满足关系$\mathbf{A}{\mathbf{v}}_i=0(={\sigma }_i{\mathbf{u}}_i),i=r+1,\cdots ,n$
$$\begin{array}{rl}A{V}_{n\times n}& =U_{m\times m}{\Sigma }_{m\times n}\\ A\left[v_1\cdots v_r\cdots v_n\right]& =\left[u_1\cdots u_r\cdots u_m\right]\left[\begin{array}{lllc}{\sigma }_1& & & \\ & \ddots & & \\ & & {\sigma }_r& \\ & & & \end{array}\right]\end{array}$$
最终，我们得到了SVD：$\mathbf{AV}=\mathbf{U\Sigma }\Rightarrow \mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^T$

• 正交矩阵${\mathbf{V}}_{n\times n}$对应${\mathbf{R}}^n$空间中的一组标准正交基
• 正交矩阵${\mathbf{U}}_{m\times m}$对应${\mathbf{R}}^m$空间中的一组标准正交基
• 注意，这时${\mathbf{\Sigma }}_{m\times n}$不是对角阵，但是其中蕴含了一个对角阵

奇异值分解SVD等价于：在整个${\mathbf{R}}^n$空间中，找出一组标准正交基${\mathbf{v}}_i$，且这组基经过矩阵$\mathbf{A}$的线性变换后，能够生成${\mathbf{R}}^m$空间中的一组标准正交基${\mathbf{u}}_i$，且满足$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$（${\sigma }_i$为伸缩因子）

这里的美妙之处在于，我们找到了一组特殊的标准正交基$\mathbf{V}$，它们经过$\mathbf{A}$的线性变换后，仍得到一组标准正交基$\mathbf{U}$（$\mathbf{AV}=\mathbf{U\Sigma }$）

实际上，而正定矩阵的对角化$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$可以视为这里SVD的特殊情况，其$\mathbf{U}=\mathbf{V}=\mathbf{Q}$
ps. 必须正定/半正定，从而特征值非负，对应这里的$\mathbf{\Sigma }=\mathbf{\Lambda }$

如何获取$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$中的$\mathbf{U}$和$\mathbf{V}$

前置知识：
矩阵${\mathbf{A}}^T\mathbf{A}$和$\mathbf{A}{\mathbf{A}}^T$是对称矩阵，并且必为半正定/正定矩阵（特征值全为非负数）
当$\mathbf{A}$列满秩$r=n$时${\mathbf{A}}^T\mathbf{A}$为正定的，正定矩阵对角化结果${\mathbf{A}}^T\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$

根据上面，SVD就是要找出两组标准正交基，满足$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$（${\sigma }_i\ge 0$为伸缩因子），两组标准正交基分别组成了正交矩阵$\mathbf{U}$和正交矩阵$\mathbf{V}$

SVD中，我们要找正交矩阵，并且还需要非负数的奇异值，自然可以联想到对${\mathbf{A}}^T\mathbf{A}$做特征值分解/相似对角化，其中正好出现了正交矩阵和非负数的特征值

1. 如何获取正交矩阵$\mathbf{V}$
   根据$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$可得$$\begin{array}{rl}{\mathbf{A}}^T\mathbf{A}& =\mathbf{V}{\mathbf{\Sigma }}^T{\mathbf{U}}^T\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T\\ & =\mathbf{V}{\mathbf{\Sigma }}^T\mathbf{\Sigma }{\mathbf{V}}^T\\ & =\mathbf{V}\left[\begin{array}{llll}{\sigma }_1^2& & & \\ & {\sigma }_2^2& & \\ & & \ddots & \\ & & & {\sigma }_r{}^2\end{array}\right]{\mathbf{V}}^T（当\mathbf{\Sigma }为对角阵）\end{array}$$上式就相当于正定矩阵${\mathbf{A}}^T\mathbf{A}$的相似对角化，
   其中${\sigma }_i^2={\lambda }_i$对应${\mathbf{A}}^T\mathbf{A}$的特征值（总是约定奇异值非负：${\sigma }_i={\sqrt{\lambda }}_i$），
   $\mathbf{V}$对应对称阵${\mathbf{A}}^T\mathbf{A}$的（标准正交）特征向量
2. 如何获取正交矩阵$\mathbf{U}$（不完全正确的做法）
   类似上面，有$$\mathbf{A}{\mathbf{A}}^T=\mathbf{U}\mathbf{\Sigma }{\mathbf{\Sigma }}^T{\mathbf{U}}^T$$${\sigma }_i^2$对应$\mathbf{A}{\mathbf{A}}^T$的特征值，
   $\mathbf{U}$对应正交矩阵$\mathbf{A}{\mathbf{A}}^T$的（标准正交）特征向量；

$\mathbf{A}{\mathbf{A}}^T$为$m$阶方阵（有$m$个特征值），${\mathbf{A}}^T\mathbf{A}$为$n$阶方阵（有$n$个特征值）
实际上$\mathbf{A}{\mathbf{A}}^T$与${\mathbf{A}}^T\mathbf{A}$有相同的非零特征值，不匹配的那部分都是0特征值，这与之前的推导一致
（特征值的性质：$\mathbf{A}\mathbf{B}$与$\mathbf{B}\mathbf{A}$有相同的非零特征值；当$\mathbf{A}$和$\mathbf{B}$均为$n$阶方阵，$\mathbf{A}\mathbf{B}$与$\mathbf{B}\mathbf{A}$有相同特征值）
实际上，0奇异值对应的那些左/右奇异向量，也就是$\mathbf{A}{\mathbf{A}}^T$和${\mathbf{A}}^T\mathbf{A}$的零空间中的正交向量
另外，若$\mathbf{A}$为对称/反对称矩阵，则满足$\mathbf{A}{\mathbf{A}}^T={\mathbf{A}}^T\mathbf{A}$，此时$\mathbf{U}=\mathbf{V}$

但注意，这样的做法是错误的

原因：

• 对于特征向量有$\mathbf{A}{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$，等式左右都是${\mathbf{v}}_i$，那么为了表达线性变换$\mathbf{A}$使得特征向量${\mathbf{v}}_i$反向拉伸，会不可避免的出现${\lambda }_i$为负数的情况；
• 对于奇异向量有$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$，等式左右分别是${\mathbf{v}}_i$和${\mathbf{u}}_i$，那么理论上当${\sigma }_i$为负数时，我们完全可以将其变为正数，而把负号放到${\mathbf{u}}_i$上，从而总是约定和保证${\sigma }_i$非负

至此就明白了，由上面方法求出的${\mathbf{v}}_i$和${\mathbf{u}}_i$有可能需要搭配负数的${\sigma }_i$（否则$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$不成立）
又因为我们默认${\sigma }_i>0$，因而获取$\mathbf{U}$时，应当用$\mathbf{A}\mathbf{V}=\mathbf{U}\mathbf{\Sigma }$来帮助确定特征向量${\mathbf{u}}_i$所取的符号

3. 如何获取正交矩阵$\mathbf{U}$（正确做法）
   ${\mathbf{u}}_i=\frac{\mathbf{A}{\mathbf{v}}_i}{{\sigma }_i}$，其中${\sigma }_i$的选择要使${\mathbf{u}}_i$标准化（长为1）

这里还有一个小问题：若把${\mathbf{u}}_i$视为上述的$\mathbf{A}{\mathbf{A}}^T$的特征向量，我们还必须验证各个${\mathbf{u}}_i$互相正交
（原因：重特征值有一个特征子空间，其中任意一组基都是特征向量，不一定正交）
验证各个${\mathbf{u}}_i$互相正交：
${\mathbf{u}}_1^T{\mathbf{u}}_2={\left(\frac{A{\mathbf{v}}_1}{{\sigma }_1}\right)}^T\left(\frac{A{\mathbf{v}}_2}{{\sigma }_2}\right)=\frac{{\mathbf{v}}_1^T{A}^{T}A{\mathbf{v}}_2}{{\sigma }_1{\sigma }_2}=\frac{{\mathbf{v}}_1^T{\sigma }_2^2{\mathbf{v}}_2}{{\sigma }_1{\sigma }_2}=\frac{{\sigma }_2}{{\sigma }_1}{\mathbf{v}}_1^T{\mathbf{v}}_2=0$

但是，当矩阵规模较大时，上述的${\mathbf{A}}^T\mathbf{A}$方法计算量太大
所以实际中并不使用上述方法求SVD，我们通过这个过程进一步理解SVD即可

SVD与极分解

$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T=(\mathbf{U}\mathbf{\Sigma }{\mathbf{U}}^T)\mathbf{U}{\mathbf{V}}^T$
由此得到了一种新的分解，即“极分解”（Polar decomposition）
$$\mathbf{A}=\mathbf{S}\mathbf{Q}$$其中，

• $\mathbf{S}=\mathbf{U}\mathbf{\Sigma }{\mathbf{U}}^T$为对称矩阵，对应了简单的拉伸（对称阵相似于实对角阵$\mathbf{\Sigma }$，对应的变换仅伸缩了坐标轴）
• $\mathbf{Q}=\mathbf{U}{\mathbf{V}}^T$为正交矩阵，对应了旋转的线性变换

几何上的意义：任意矩阵，对应的线性变换可拆分为伸缩、旋转（还有投影）

• 类比：复数可以表示为$r{e}^{j\theta }$，其中两项分别对应“拉伸”和“旋转”
  这里的分解类似，$\mathbf{S}$和$\mathbf{Q}$分别对应了“拉伸”和“旋转”

矩阵$\mathbf{A}$是否可逆，决定SVD是否有0奇异值

SVD分解结果（奇异值）$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$，展示了矩阵$\mathbf{A}$的各方面特征

• 例如$\mathbf{\Sigma }=\left[\begin{array}{cc}3& 0\\ 0& 2\end{array}\right]$，则$\mathbf{A}$可逆
  ps. 可逆矩阵$r=n$，则${\mathbf{A}}^T\mathbf{A}$和$\mathbf{A}{\mathbf{A}}^T$为正定矩阵（特征值全为正，对应$\mathbf{A}$奇异值全为正）
• $\mathbf{\Sigma }=\left[\begin{array}{cc}3& 0\\ 0& -2\end{array}\right]$，这不是SVD，因为我们奇异值不可能为负值
• $\mathbf{\Sigma }=\left[\begin{array}{cc}3& 0\\ 0& 0\end{array}\right]$，$\mathbf{\Sigma }$秩为1，而$\mathbf{U}$和$\mathbf{V}$为正交的，因此$\mathbf{A}$秩为1，不可逆；
  理解[$\mathbf{A}$不满秩则不可逆]：对矩阵做SVD$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$，$\mathbf{A}$行/列不满秩，则矩阵零空间有非零向量，那么就有$\mathbf{Ax}=0$，进而SVD中的$\mathbf{\Sigma }$的右下角相应出现0元素，这从根本上决定了$\mathbf{A}$与其他矩阵相乘，不可能得到单位阵（即不可逆）

另外，$\mathbf{A}$的零空间由$\mathbf{V}$中那些特征值为0的特征向量（即${\mathbf{v}}_2$）给出，因为此时$\mathbf{A}\mathbf{V}=\mathbf{U}\mathbf{\Sigma }=0$
更多的，求$\mathbf{A}$的左零空间、列空间等…也能从SVD中找到答案，详见笔记10-3

推论：矩阵行列式$det(\mathbf{A})$=特征值乘积${\lambda }_1{\lambda }_2...{\lambda }_n$=奇异值乘积${\sigma }_1{\sigma }_2...{\sigma }_n$
原因：$det(\mathbf{A})=det(\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T)=det(\mathbf{\Sigma })$（正交矩阵行列式为±1）

SVD的应用

• 大型矩阵$\mathbf{A}$，希望提取重要信息（不只是简单的找出较大的元素值），可以做SVD并从“秩1矩阵分解”的角度来看：秩1矩阵${\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T$对应了矩阵最重要的部分
• 奇异值分解在最小二乘法问题中有重要应用
  因为在实际问题中常碰到矩阵$\mathbf{A}$不是列满秩($r<n$)的状态，因此${\mathbf{A}}^T\mathbf{A}$不可逆（之前学过，当半正定矩阵满足${\mathbf{x}}^T\mathbf{A}\mathbf{x}=0(\mathbf{x}\ne 0)$，则至少有一个特征值为0），无法用之前的方法求最优解，此时需要SVD
  即使是列满秩的情况，当矩阵是超大型矩阵时，${\mathbf{A}}^T\mathbf{A}$的计算量太大，用奇异值分解SVD会帮助降低计算量