奇异值分解

奇异值分解

奇异值分解是一种应用广泛的矩阵分解方式，对矩阵$\mathbf{A}\in R^{m\times n}$，其奇异值分解的形式为
$$\mathbf{A}={\mathbf{U}\mathbf{\Sigma }\mathbf{V}}^T$$
其中$\mathbf{U}$是$m\times m$正交矩阵，$\mathbf{V}$是$n\times n$正交矩阵，$\mathbf{\Sigma }$是$m\times n$矩阵，非零元素为${\sigma }_1,\cdots ,{\sigma }_r$，被称作$\mathbf{A}$的奇异值，排列在$\mathbf{A}$的主对角线上。

首先看如何求出$\mathbf{U}$，考虑${\mathbf{A}\mathbf{A}}^T$，有
$$\begin{array}{rl}{\mathbf{A}\mathbf{A}}^T& ={\mathbf{U}\mathbf{\Sigma }\mathbf{V}}^T\mathbf{V}{\mathbf{\Sigma }}^T{\mathbf{U}}^T\\ & ={\mathbf{U}\mathbf{\Sigma }\mathbf{\Sigma }}^T{\mathbf{U}}^T\end{array}$$
也就是说$\mathbf{U}$是${\mathbf{A}\mathbf{A}}^T$的特征向量，${\sigma }_i^2$是${\mathbf{A}\mathbf{A}}^T$的特征值，因此$\mathbf{A}{\mathbf{A}}^T{\mathbf{u}}_i={\sigma }_i^2{\mathbf{u}}_i$，单独考虑${\mathbf{A}\mathbf{A}}^T$的特征向量，满足
$$\mathbf{A}({\mathbf{A}}^T\mathbf{x})=\lambda \mathbf{x}$$
显然有$r$个特征向量来自${\mathbf{A}}^T$的零空间，剩余$m-r$个来自$\mathbf{A}$的列空间。接下来考虑${\mathbf{A}}^T\mathbf{A}$
$$\begin{array}{rl}{\mathbf{A}}^T\mathbf{A}& =\mathbf{V}{\mathbf{\Sigma }}^T{\mathbf{U}}^T{\mathbf{U}\mathbf{\Sigma }\mathbf{V}}^T\\ & ={\mathbf{V}\mathbf{\Sigma }}^T{\mathbf{\Sigma }\mathbf{V}}^T\end{array}$$
也就是说$\mathbf{V}$是${\mathbf{A}}^T\mathbf{A}$的特征向量，${\sigma }_i^2$也是${\mathbf{A}}^T\mathbf{A}$的特征值，因此${\mathbf{A}}^T\mathbf{A}{\mathbf{v}}_i={\sigma }_i^2{\mathbf{v}}_i$，单独考虑${\mathbf{A}}^T\mathbf{A}$的特征向量
$${\mathbf{A}}^T(\mathbf{A}\mathbf{x})=\lambda \mathbf{x}$$
显然有$r$个特征向量来自$\mathbf{A}$的零空间，剩余$n-r$个来自$\mathbf{A}$的行空间

最后考虑在${\mathbf{A}}^T\mathbf{A}{\mathbf{v}}_i={\sigma }_i^2{\mathbf{v}}_i$两边同时左乘${\mathbf{v}}_i^T$
$$\begin{array}{rl}{\mathbf{A}}^T\mathbf{A}{\mathbf{v}}_i& ={\sigma }_i^2{\mathbf{v}}_i\\ {\mathbf{v}}_i^T{\mathbf{A}}^T\mathbf{A}{\mathbf{v}}_i& ={\sigma }_i^2{\mathbf{v}}_i^T{\mathbf{v}}_i\\ |{\mathbf{A}\mathbf{v}}_i{|}^2& ={\sigma }_i^2\end{array}$$
这说明奇异值是${\mathbf{A}\mathbf{v}}_i$的长度

综上所述$\mathbf{U}$和$\mathbf{V}$中的向量分别来自$\mathbf{A}$的4个基本子空间，其中$\mathbf{U}$中的向量来自列空间和${\mathbf{A}}^T$的零空间(左零空间)，$\mathbf{V}$中的向量来自行空间和零空间。