机器学习-奇异值分解

奇异值分解的定义

SVD（Singular Value Decomposition）可以理解为：将一个比较复杂的矩阵用更小更简单的3个子矩阵的相乘来表示，这3个小矩阵描述了大矩阵重要的特性。

定义：矩阵的奇异值分解是指将一个秩为$r$的实矩阵$A_{m\times n}$分解为三个实矩阵乘积的形式：

$$A_{m\times n}=U_{m\times m}{\Sigma }_{m\times n}{V}_{n\times n}^T\approx U_{m\times k}{\Sigma }_{k\times k}{V}_{k\times n}^T$$

其中$U$是$m$阶正交矩阵（$U$的列向量称为左奇异向量），$V$是$n$阶正交矩阵（ $V$的列向量称为右奇异向量），$\Sigma$是$m\times n$矩形对角矩阵，称为奇异值矩阵，对角线上的元素称为奇异值。

$$\Sigma ={\left[\begin{array}{cc}{D}_{r\times r}& 0\\ 0& 0\end{array}\right]}_{m\times n}$$

$D$是一个$r\times r$的对角阵，$D$的对角线元素是$A$的前$r$个奇异值${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$（非负，降序）。

知识点：任意一个实矩阵$A$可以由其外积展开式表示

$$A={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots +{\sigma }_r{u}_r{v}_r^T$$

其中$u_k{v}_k^T$为$m\times n$矩阵，是列向量$u_k$和行向量$v_k^T$的外积，${\sigma }_k$为奇异值，$u_k,v_k^T,{\sigma }_k$通过矩阵$A$的奇异值分解得到。

知识点：奇异值在矩阵中按照从大到小排列，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。我们可以用最大的$k$个奇异值的矩阵和$U{V}^T$相乘来近似描述矩阵，从而实现了降维、减少数据存储、提升计算性能等效果。

奇异值分解的计算

设矩阵$A$的奇异值分解为$A=U\Sigma V^T$，则有

$$\begin{array}{l}{A}^{T}A=V({\Sigma }^T\Sigma )V^T\\ A{A}^T=U(\end{array}$$