奇异值分解（SVD）原理与在降维中的应用

1.SVD定义

  SVD目的为了对行列不同时对矩阵进行分解。
  SVD公式为：$$A=U\Sigma V^T$$

• A是一个$m\times n$的矩阵
• U是一个$m\times m$的矩阵
• $\Sigma 是一个m\times n$的矩阵，除了对角线上的元素外全为0，主对角线上的每个元素都称为奇异值
• $V是一个n\times n的矩阵$

$U和V都是酋矩阵，即满足U^{T}U=I，V^{T}V=I$

---

2.计算$U,\Sigma ,V$三个矩阵

• 求矩阵$V$$：A和A^T做矩阵乘法，会得到一个n\times n的矩阵$
  $(A^{T}A)v_i={\lambda }_i{v}_i$——可求出n个特征值$\lambda 和n个特征向量v_i$，将n个特征向量$v_i$构成SVD公式中的$V$矩阵，将$V$矩阵中的每个特征向量称为A的右奇异向量。

• 求矩阵$U$$：A^T和A做矩阵乘法，会得到一个m\times m的矩阵$
  $(A{A}^T)v_i={\lambda }_i{u}_i$——可求出n个特征值$\lambda 和n个特征向量u_i$，将n个特征向量$u_i$构成SVD公式中的$U$矩阵，将$U$矩阵中的每个特征向量称为A的左奇异向量。

• 求矩阵$\Sigma$：
  $$A=U\Sigma V^T$$
  $$=>AV=U\Sigma V^{T}V=U\Sigma$$
  $$=>A{v}_i={\sigma }_i{u}_i$$
  $$=>{\sigma }_i=A{v}_i/u_i$$
  通过公式求解出${\sigma }_i$的值构成$\Sigma$矩阵

证明正确性

由公式：
$$A=U\Sigma V^T$$
$$=>AV=U\Sigma V^{T}V=U\Sigma$$
$$=>A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^2{V}^T$$
上式公式可以看出$A^{的}特征值组成的是SVD中的V矩阵，类似的可证明$AA^T$的特征向量就是SVD中的U矩阵

---

3.SVD的性质

• 在奇异值矩阵中按照从大到小排列，而且奇异值减少特别快。可就是说，可以利用最大的k个奇异值来近似的描述矩阵。即：
  $$A_{m\times n}=U_{m\times m}{\Sigma }_{m\times n}{V}_{n\times n}^T\approx U_{m\times k}{\Sigma }_{k\times k}{V}_{k\times n}^T$$
  因此可应用于PCA降为，来做数据压缩和去噪，也可应用于推荐算法，将用户对应的矩阵做特征分解，进而得到隐含的用户需求。

---

参考：https://www.cnblogs.com/pinard/p/6251584.html