奇异值分解

奇异值分解

Singular Value Decomposition
$$A=U\Sigma V^T$$
奇异值分解可以看作是矩阵数据压缩的一种方法，这种近似是在平方损失下的最优近似。紧奇异值分解对应着无损压缩，截断奇异值分解对应着有损压缩。

奇异值分解的定义与性质

$$A=U\Sigma V^T$$
U是m阶正交矩阵，V是n阶正交矩阵，$$是由降序排列的非负的对角线元素构成的m * n 矩形对角矩阵，满足：

$$U{U}^T=I$$

$$V{V}^T=I$$

$$\Sigma =diag({\sigma }_1,{\sigma }_2,...,{\sigma }_p)$$

$${\sigma }_1>{\sigma }_2>...>{\sigma }_p$$

$$p=min$$

${\sigma }_i$称为矩阵A的奇异值，U的列向量称之为左奇异向量，V的列向量称之为右奇异向量。

紧奇异值分解与截断奇异值分解

$A=U\Sigma V^T$是矩阵的完全奇异值分解，实际上常用的是奇异值分解的紧凑形式和截断形式。紧奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵低秩的奇异值分解。

几何解释

$$A=U\Sigma V^T$$
$$V,(v_1,v_2,...,v_n)\in R^n$$
$$U,(u_1,u_2,...,u_m)\in R^m$$
$$\Sigma ,({\sigma }_1,{\sigma }_2,...,{\sigma }_n)\in R^n$$
$$T:x->Ax,x\in R^n,Ax\in R^m$$
旋转变换，放缩变换，旋转变换。
表示m * n 矩阵A从n维空间到m空间的一个线形转换

奇异值分解的计算

要讲述SVD，首先来看一下EVD,也就是特征值分解

EVD

A是一个m * m的实对称矩阵（即$A=A^T$），那么他可以被分解为如下的形式
公式一：
$$A=Q\sum Q^T=Q\left[\begin{array}{ccccc}{\lambda }_1& ...& ...& ...& ...\\ ...& {\lambda }_2& ...& ...& ...\\ ...& ...& ...& ...& ...\\ ...& ...& ...& ...& {\lambda }_n\end{array}\right]Q^T$$
其中，Q为正交矩阵，即$Q{Q}^T=I$,$\sum$为对角矩阵.${\lambda }_i$称之为特征值，Q里面的向量$Q_i$称之为特征向量。

SVD

对于一般矩阵而言，我们也想要这样的分解，可以么？答案是肯定的，这时候就需要我们下面所说的SVD分解
这里，A是一个m * n矩阵，我们将它分解为下面的形式：
$$A=U\sum V^T$$
其中，U和V为单位正交阵（$U{U}^T=I$,$V{V}^T=I$），则，U称之为左奇异矩阵，V称之为右奇异矩阵。$\sum$仅在主对角线上有值，我们称它为奇异值。且$U\in m\ast m,\sum \in m\ast n,V\in n\ast n$，一般情况下，$\sum$有如下形式
$$\sum =\left[\begin{array}{ccccc}{\sigma }_1& 0& 0& 0& 0\\ 0& {\sigma }_2& 0& 0& 0\\ 0& 0& ...& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]$$

SVD求解

因为直接求U和V不方便，看如下推导过程
公式二：
$$A{A}^T=U\sum V^{T}V{\sum }^T{U}^T=U\sum {\sum }^T{U}^T$$
公式三：
$$A^{T}A=V{\sum }^T{U}^{T}U\sum V^T=V{\sum }^T\sum V^T$$
需要指出的是这里的$\sum {\sum }^T$和${\sum }^T\sum$是不一样的，因为他们的维数不同，但是，他们在主对角线上的奇异值是相等的。
可以看出，公式2和公式3与公式1很相似，将$A{A}^T$与$A^{T}A$利用公式1求出U和V，然后对$\sum {\sum }^T$和${\sum }^T\sum$开方，就可以得到所有的奇异值。

奇异值分解与矩阵近似

弗罗贝尼乌斯范数

$$||A|{|}_F=(\sum _{i=1}^m\sum _{j=1}^n(a_{ij}{)}^2{)}^{1/2}$$

矩阵的最优近似

$$||A-X|{|}_F=\underset{S\in \mathcal{M}||A-S|{|}_F}{\min }$$
称矩阵X为矩阵在弗罗贝尼乌斯范数下的最优近似

矩阵的外积展开形式

$$U\Sigma =[{\sigma }_1{u}_1{\sigma }_2{u}_2...{\sigma }_n{v}_n]$$
$$V^T=[v_1^T...v_n^T{]}^T$$
$$A={\sigma }_1{u}_1{v}_1^T+...+{\sigma }_n{v}_n{v}_n^T$$