SVD

要讲述SVD，首先来看一下EVD,也就是特征值分解

EVD

A是一个m * m的实对称矩阵（即$A=A^T$），那么他可以被分解为如下的形式
公式一：
$$A=Q\sum Q^T=Q\left[\begin{array}{ccccc}{\lambda }_1& ...& ...& ...& ...\\ ...& {\lambda }_2& ...& ...& ...\\ ...& ...& ...& ...& ...\\ ...& ...& ...& ...& {\lambda }_n\end{array}\right]Q^T$$
其中，Q为正交矩阵，即$Q{Q}^T=I$,$\sum$为对角矩阵.${\lambda }_i$称之为特征值，Q里面的向量$Q_i$称之为特征向量。

SVD

对于一般矩阵而言，我们也想要这样的分解，可以么？答案是肯定的，这时候就需要我们下面所说的SVD分解
这里，A是一个m * n矩阵，我们将它分解为下面的形式：
$$A=U\sum V^T$$
其中，U和V为单位正交阵（$U{U}^T=I$,$V{V}^T=I$），则，U称之为左奇异矩阵，V称之为右奇异矩阵。$\sum$仅在主对角线上有值，我们称它为奇异值。且$U\in m\ast m,\sum \in m\ast n,V\in n\ast n$，一般情况下，$\sum$有如下形式
$$\sum =\left[\begin{array}{ccccc}{\sigma }_1& 0& 0& 0& 0\\ 0& {\sigma }_2& 0& 0& 0\\ 0& 0& ...& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]$$

SVD求解

因为直接求U和V不方便，看如下推导过程
公式二：
$$A{A}^T=U\sum V^{T}V{\sum }^T{U}^T=U\sum {\sum }^T{U}^T$$
公式三：
$$A^{T}A=V{\sum }^T{U}^{T}U\sum V^T=V{\sum }^T\sum V^T$$
需要指出的是这里的$\sum {\sum }^T$和${\sum }^T\sum$是不一样的，因为他们的维数不同，但是，他们在主对角线上的奇异值是相等的。
可以看出，公式2和公式3与公式1很相似，将$A{A}^T$与$A^{T}A$利用公式1求出U和V，然后对$\sum {\sum }^T$和${\sum }^T\sum$开方，就可以得到所有的奇异值。

summary

从上面的图片的压缩结果中可以看出来，奇异值可以被看作成一个矩阵的代表值，或者说，奇异值能够代表这个矩阵的信息。当奇异值越大时，它代表的信息越多。因此，我们取前面若干个最大的奇异值，就可以基本上还原出数据本身。