奇异值分解介绍

相关文章

从几何视角看奇异值分解（MATLAB实现）
奇异值分解的应用及MATLAB实现（图像压缩、谱聚类、潜在语义分析、主成分分析、背景删除等）

奇异值分解

设$\mathbf{A}\in {\mathbf{C}}_{\mathbf{r}}^{\mathbf{m}\times \mathbf{n}}(\mathbf{r}>0)$，则存在$m$阶的酉矩阵$\mathbf{U}$和$n$的酉矩阵$\mathbf{V}$，使得
$U^{\text{н}}AV=\left[\begin{array}{cc}\mathbf{\Sigma }& \mathbf{O}\\ \mathbf{O}& \mathbf{O}\end{array}\right](1.1)$
其中$\mathbf{\Sigma }=$diag$({\sigma }_1,{\sigma }_2,...,{\sigma }_r)$，而${\sigma }_i(i=1,2,...,r)$为矩阵$\mathbf{A}$的全部非零奇异值，其中${\sigma }_i=\sqrt{{\lambda }_i}$，${\lambda }_i$是${\mathbf{A}}^{\text{н}}\mathbf{A}$的特征值。
该结论证明如下：
设Hermite矩阵${\mathbf{A}}^{\text{н}}\mathbf{A}$的特征值为
${\lambda }_1⩾{\lambda }_2⩾\cdot \cdot \cdot ⩾{\lambda }_r>{\lambda }_{r+1}=\cdot \cdot \cdot ={\lambda }_n=0$
因为$\mathbf{A}$酉相似于对角矩阵的充要条件是$\mathbf{A}$为正规矩阵（满足$\mathbf{A}{\mathbf{A}}^{\text{н}}={\mathbf{A}}^{\text{н}}\mathbf{A}$）,则存在$n$阶酉矩阵$\mathbf{V}$，使得
${\mathbf{V}}^{\mathrm{H}}({\mathbf{A}}^{\mathrm{H}}\mathbf{A})\mathbf{V}=\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right]=\left[\begin{array}{cc}{\mathbf{\Sigma }}^2& \mathbf{O}\\ 0& 0\end{array}\right](1.2)$
将$\mathbf{V}$分块为
$V=\left[\begin{array}{ccc}{V}_1& ⋮& V_2\end{array}\right],V_1\in {\mathbf{C}}_r^{n\times r},V_2\in {\mathbf{C}}_{n-r}^{n\times (n-r)}$
并改写式$(1.2)$为
$A^{\mathrm{H}}AV=V\left[\begin{array}{cc}{\mathbf{\Sigma }}^2& \mathbf{O}\\ \mathbf{O}& \mathbf{O}\end{array}\right]$
则有
$A^{\mathrm{H}}A{V}_1=V_1{\mathbf{\Sigma }}^2,A^{\mathrm{H}}A{V}_2=\mathbf{O}(1.3)$
由式$(1.3)$的第一式可得$V_1^{\mathrm{H}}{A}^{\mathrm{H}}A{V}_1={\mathbf{\Sigma }}^2$,或者
$(A{V}_1{\mathbf{\Sigma }}^{-1}{)}^{\mathrm{H}}(A{V}_1{\mathbf{\Sigma }}^{-1})=I_r$
由式$(1.3)$的第二式可得
$(A{V}_2{)}^{\mathrm{H}}(A{V}_2)=0\text{或}A{V}_2=0$
令${\mathbf{U}}_1=\mathbf{A}{\mathbf{V}}_1{\mathbf{\Sigma }}^{-1}$，则${\mathbf{U}}_1={\mathbf{I}}_r$，即${\mathbf{U}}_1$的$r$个列是两两正交的单位向量，记作${\mathbf{U}}_1=({\mathbf{u}}_1,{\mathbf{u}}_2,\dots ,{\mathbf{u}}_r)$，可将${\mathbf{u}}_1,{\mathbf{u}}_2,\dots ,{\mathbf{u}}_r$，扩充为${\mathbf{C}}^m$的标准正交基，记增添的向量为 ${\mathbf{u}}_{r+1},\dots ,{\mathbf{u}}_m$，并构造矩阵${\mathbf{U}}_2=({\mathbf{u}}_{r+1},\dots ,{\mathbf{u}}_m)$，则
$\mathbf{U}=\left[\begin{array}{ccc}{U}_1& ⋮& U_2\end{array}\right]=({\mathbf{u}}_1,{\mathbf{u}}_2,\dots ,{\mathbf{u}}_{\mathbf{r}},{\mathbf{u}}_{\mathbf{r}+1},\dots ,{\mathbf{u}}_{\mathbf{m}})$
是$m$阶酉矩阵，且有
${\mathbf{U}}_1{}^{\mathrm{H}}{\mathbf{U}}_1={\mathbf{I}}_{\mathbf{r}},{\mathbf{U}}_2{}^{\mathrm{H}}{\mathbf{U}}_1=\mathbf{O}$
于是可得
$\begin{array}{rl}{\mathbf{U}}^{\mathrm{H}}\mathbf{A}\mathbf{V}& ={\mathbf{U}}^{\mathrm{H}}\left[\begin{array}{ccc}\mathbf{A}{\mathbf{V}}_1& ⋮& \mathbf{A}{\mathbf{V}}_2\end{array}\right]=\left[\begin{array}{c}{\mathbf{U}}_1^{\mathrm{H}}\\ {\mathbf{U}}_2^{\mathrm{H}}\end{array}\right]\left[\begin{array}{ccc}{\mathbf{U}}_1\mathbf{\Sigma }& ⋮& \mathbf{O}\end{array}\right]=\left[\begin{array}{cc}{\mathbf{U}}_1^{\mathrm{H}}{\mathbf{U}}_1\mathbf{\Sigma }& \mathbf{O}\\ {\mathbf{U}}_2^{\mathrm{H}}{\mathbf{U}}_1\mathbf{\Sigma }& \mathbf{O}\end{array}\right]=\left[\begin{array}{cc}\mathbf{\Sigma }& \mathbf{O}\\ \mathbf{O}& \mathbf{O}\end{array}\right]\end{array}$
以上为式$(1.1)$的证明过程，将其改写为
$A=U\left[\begin{array}{cc}\mathbf{\Sigma }& \mathbf{O}\\ \mathbf{O}& \mathbf{O}\end{array}\right]V^{\text{н}}=US{V}^{\text{н}}(1.4)$
我们称式$(1.4)$为矩阵$\mathbf{A}$的奇异值分解（Singular Value Decomposition, SVD）。

值得注意的是： 矩阵的奇异值概念是对矩阵的特征值概念的推广，矩阵的奇异值分解是对矩阵的正交相似对角化问题的推广，任何矩阵都可以进奇异值分解，但只有可对角化的矩阵才能进行特征值分解。

参考文献

[1] 张凯院, 徐仲等. 矩阵论.