统计学习方法03-15 奇异值分解 (SVD)

本博客主要用于本人重新复习知识点，所有参考列在文尾。如有错误，希望一起交流。

基础知识

1. 奇异值分解

矩阵的 (完全) 奇异值分解： $A=U\Sigma V^T$

其中 $A$ 为 $m\times n$ 实矩阵；$U$ 和 $V$ 为正交矩阵；$\Sigma$ 为由降序排列的、非负的、对角线元素组成的 对角矩阵。

正交矩阵：$U{U}^T=I$
对角矩阵：$\Sigma =diag({\sigma }_1,...,{\sigma }_p)$

注意：A不要求是方阵，矩阵的奇异值分解可以看作是方阵对角化的推广。

2. 奇异值分解基本定理

任意给定一个实矩阵，其奇异值分解一定存在。 由下面的定理保证。

Thm 若 $A$ 为一 $m\times n$ 实矩阵，$A\in R^{m\times n}$，则 存在A的奇异值分解：$A=U\Sigma V^T$，其中 $U$ 为 $m$ 阶正交矩阵，$V$ 为 $n$ 阶正交矩阵，$\Sigma$ 为 $m\times n$ 矩阵，其对角线元素非负，且按降序排列。

证明可以用书上的构造法，也可以用数学归纳法等等。

3. 紧奇异值分解

矩阵 $A$：$m\times n$ 实矩阵，$rank(A)=r,r\le \min (m,n)$

$A$ 的紧奇异值分解: $A=U_r{\Sigma }_r{V}_r^T$

• $U_r$ ( m × r m \times r