SVD奇异值分解逐步推导

SVD奇异值分解逐步推导

1. 回顾特征值和特征向量

首先回顾下特征值和特征向量的定义：
$$Ax=\lambda x$$其中，A是一个$n\times n$的矩阵，$x$是一个$n$维向量，则$\lambda$是矩阵A的一个特征值，而$x$是矩阵A的特征值$\lambda$对应的特征向量。

求出特征值和特征向量有什么好处呢？就是我们可以将矩阵A特征分解。如果我们求出了矩阵A的n个特征值${\lambda }_1\le {\lambda }_2\le ...\le {\lambda }_n$，以及这$n$个特征值所对应的特征向量$w_1,w_2,...,w_n$,那么矩阵A就可以用以下的特征分解表示：
$$W^{-1}AW=\Lambda \iff A=W\Lambda W^{-1}$$其中，$W$是这$n$个特征向量所组成的$n\times n$维矩阵，而$\Lambda$是将这$n$个特征值作为主对角线的$n\times n$维矩阵。一般情况下，我们会把$W$的这$n$个特征向量标准化，即满足$||w_i|{|}_2=1$，或者$w_i^T{w}_i=1$,此时$W$的$n$个特征向量为标准正交基，满足$W^{T}W=I$，即$W^T=W^{-1}$,也就是说$W$为酉矩阵。这样我们的特征分解表达式可以写成：
$$A=W\Lambda W^T$$

题外延伸------矩阵压缩：

设$W=(w_1,w_2,w_3,...,w_n)$，则:
$$W^T=\left(\begin{array}{c}{w}_1^T\\ w_2^T\\ w_3^T\\ ...\\ w_n^T\end{array}\right)$$那么:
$$\begin{gathered} A=(w_1,w_2,w_3,...,w_n)\left(\begin{array}{ccccc}{\lambda }_1& & & & \\ & {\lambda }_2& & & \\ & & {\lambda }_3& & \\ & & & ...& \\ & & & & {\lambda }_n\end{array}\right)\left(\begin{array}{c}{w}_1^T\\ w_2^T\\ w_3^T\\ ...\\ w_n^T\end{array}\right) \\ ={\lambda }_1{w}_1{w}_1^T+{\lambda }_2{w}_2{w}_2^T+{\lambda }_3{w}_3{w}_3^T+...+{\lambda }_n{w}_n{w}_n^T \end{gathered}$$

假设A为$n\times n$维矩阵，如果正常表示矩阵A共需使用$n^2$个元素，如果将取得的特征值${\lambda }_1,{\lambda }_2,{\lambda }_3,...,{\lambda }_n$按从大到小排序，即${\lambda }_1\ge {\lambda }_2\ge {\lambda }_3\ge ...\ge {\lambda }_n$，则将A的压缩表示为${\lambda }_1{w}_1{w}_1^T$，即只需要$n+1$个元素。

注意到要进行特征分解，矩阵A必须为方阵。

那么如果A不是方阵，即行和列不相同时，我们还可以对矩阵进行分解吗？答案是可以，此时我们的SVD登场了。

2. SVD推导

Step1：矩阵分解

假如$A$为$m\times n$维矩阵，则$A^{T}A$为对称正定矩阵。

证明：1)对称性：$(A^{T}A{)}^T=A^{T}A\Rightarrow 对称性$
2)正定性： $x^T{A}^{T}Ax=(Ax{)}^T(Ax)\ge 0\Rightarrow 正定性$

对于矩阵A，有$(A^{T}A)v_i={\lambda }_i{v}_i$，其中${\lambda }_i$为特征值，$v_i$为特征向量。假定$(v_i,v_j)$是一组正交基，那么有$v_i^T\cdot v_j=0$，那么：
$$(A{v}_i,A{v}_j)=(A{v}_i{)}^T\cdot A{v}_j=v_i^T{A}^{T}A{v}_j=v_i^T{\lambda }_j{v}_j={\lambda }_j{v}_i^T{v}_j=0$$因此，$A{v}_i,A{v}_j$也是一组正交基，根据上述公式可以推导出$(A{v}_i,A{v}_i)={\lambda }_i{v}_i^T{v}_i={\lambda }_i$,从而可以得到：
$$|A{v}_i{|}^2={\lambda }_i$$$$|A{v}_i|=\sqrt{{\lambda }_i}$$根据上述公式，有$\frac{A{v}_i}{|A{v}_i|}=\frac{1}{\sqrt{{\lambda }_i}}A{v}_i$，令$\frac{1}{\sqrt{{\lambda }_i}}A{v}_i=u_i$，可得：
$$A{v}_i=\sqrt{{\lambda }_i}{u}_i={\delta }_i{u}_i$$其中，${\delta }_i=\sqrt{{\lambda }_i}$，进一步推导：
$$AV=A(v_1,v_2,...,v_n)=(A{v}_1,A{v}_2,...,A{v}_n)=({\delta }_1{u}_1,{\delta }_2{u}_2,...,{\delta }_n{u}_n)=U\Sigma$$从而得出：
$$A=U\Sigma V^T$$

Step2:矩阵计算

得到矩阵A的表示后，我们应该如何计算向量$U$和$V$呢？继续往下面分析：

首先计算出A的转置$A^T$：$A^T=V{\Sigma }^T{U}^T$
$$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^2{V}^T$$利用上式可以得到，$A^{T}A{v}_i={\lambda }_i{v}_i$，只需要求出$A^{T}A$的特征向量即可得到$V$.

同理可得$A{A}^T$的值：
$$A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U{\Sigma }^2{U}^T$$可以得到$A{A}^T{u}_i={\lambda }_i{u}_i$，只需要求出$A{A}^T$的特征向量即可得到$U$.

题外延伸-----矩阵(图像)压缩：

一个$m\times n$的矩阵A经SVD分解后，可以写成如下形式：
$$\begin{gathered} A_{m\times n}=U_{m\times m}\Sigma V_{n\times n}^T=(u_1,u_2,...,u_m)\left(\begin{array}{ccc}{\lambda }_1^{\frac{1}{2}}& & \\ & {\lambda }_2^{\frac{1}{2}}& \\ & & ...\end{array}\right)\left(\begin{array}{c}{v}_1^T\\ v_2^T\\ ...\\ v_n^T\end{array}\right) \\ ={\lambda }_1^{\frac{1}{2}}{u}_1{v}_1^T+{\lambda }_2^{\frac{1}{2}}{u}_2{v}_2^T+... \end{gathered}$$
假设A为$m\times n$维矩阵，在没有压缩时表示矩阵A共需要$m\times n$个元素。如果将取得的特征值按从大到小排序，即 λ 1 ≥ λ 2 ≥ λ 3 ≥ . . . ≥ λ m i n { m , n } \lambda_1\geq\lambda_2\geq\lambda_3\geq...\geq\lambda_{min\{m,n\}} λ1​≥λ2​≥λ3​≥...≥λmin{m,n}​，则A的压缩最小压缩表示为${\lambda }_1^{\frac{1}{2}}{u}_1{v}_1^T$，即需要$m+n+1$个元素。
当压缩储存量为$(m+n+1)\times k$时，误差为
$$error=\frac{(m+n)\times {\sum }_{i=1}^k{\lambda }_i}{(m+n)\times {\sum }_{i=1}^{min(m,n)}{\lambda }_i}=\frac{{\sum }_{i=1}^k{\lambda }_i}{{\sum }_{i=1}^{min(m,n)}{\lambda }_i}$$

例题讲解

我们举一个简单的例子讲解矩阵时如何进行奇异值分解的。定义矩阵A为：
$$A=\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)$$首先求出$A^{T}A、A{A}^T$：
$$A^{T}A=\left(\begin{array}{ccc}0& 1& 1\\ 1& 1& 0\end{array}\right)\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$$$$A{A}^T=\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)\left(\begin{array}{ccc}0& 1& 1\\ 1& 1& 0\end{array}\right)=\left(\begin{array}{ccc}1& 1& 0\\ 1& 2& 1\\ 0& 1& 1\end{array}\right)$$进而求出$A^{T}A$的特征值和特征向量：
$${\lambda }_1=3;v_1=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right);{\lambda }_2=1;v_2=\left(\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$$接着求出$A{A}^T$的特征值和特征向量：
$${\lambda }_1=3;u_1=\left(\begin{array}{c}\frac{1}{\sqrt{6}}\\ \frac{2}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}\end{array}\right);{\lambda }_2=1;u_2=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ 0\\ -\frac{1}{\sqrt{2}}\end{array}\right);{\lambda }_3=0;u_3=\left(\begin{array}{c}\frac{1}{\sqrt{3}}\\ -\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\end{array}\right)$$利用$A{v}_i={\delta }_i{u}_i,i=1,2$求奇异值：
$$\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)={\delta }_1\left(\begin{array}{c}\frac{1}{\sqrt{6}}\\ \frac{2}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}\end{array}\right)\Rightarrow {\delta }_1=\sqrt{3}$$$$\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)\left(\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)={\delta }_2\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ 0\\ -\frac{1}{\sqrt{2}}\end{array}\right)\Rightarrow {\delta }_2=1$$也可以用${\delta }_i=\sqrt{{\lambda }_i}$直接求出奇异值为$\sqrt{3}$和$1$.

最终得到矩阵A的奇异值分解为：
$$A=U\Sigma V^T=\left(\begin{array}{ccc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{2}{\sqrt{6}}& 0& -\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right)\left(\begin{array}{cc}\sqrt{3}& 0\\ 0& 1\\ 0& 0\end{array}\right)\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)$$

SVD的一些性质

对于奇异值，他跟我们特征分解中的特征值类似，在奇艺置矩阵中也是按照从大到小排列，而且奇异值的减少特别快，在很多情况下，前10%甚至1%的奇异值就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个奇异值和对应的左右奇异向量来近似描述矩阵(与前面描述的题外延伸之矩阵压缩类似)，由于这个重要的性质，SVD也可以用于PCA降维，来做数据压缩和去噪，也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需要来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。

参考：https://zhuanlan.zhihu.com/p/29846048

参考：https://www.csuldw.com/2017/03/09/2017-03-09-svd/