奇异值分解

理论描述

奇异值分解（singular value decomposition）是线性代数中一种重要的矩阵分解，在信号处理，统计学等领域有重要应用。其是一个有着很明显物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。SVD是一个能够提取重要特征的方法。

线性变换

上文已经提到，对矩阵$A$进行特征分解，会得到$A=W\Sigma W^{-1}$，中$W$是$A$的特征向量组成的矩阵，和矩阵相乘其实就是做一次线性变换。如下两个例子：
$$M=\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]\text{\hspace{1em}(3)}$$
其对应的线性变换就是如下形式：

我们可以根据数学的计算看到更加直观的结果：
$$\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}3x\\ y\end{array}\right]$$
如上在矩阵为对角阵的情况下，拉伸和收缩都是沿着坐标轴的方向（也就是特征向量）的方向，而对于非对称的非对角矩阵，会有非坐标轴方向的拉伸和收缩。特征值对应的特征向量就是描述矩阵的变化方向，我们想要描述好一个变换，只需要描述好这个变换的主要变换方向就好了。通过特征值分解得到的前n个向量就是矩阵最主要的n个变化方向，利用这n个方向的变化来近似这个矩阵，也就是提取这个矩阵最重要的一部分特征（特征值分解的局限是变化的矩阵必须为方阵）。

正交矩阵

也称作酉矩阵， 一个正交矩阵的变换称作正交变换，这个变换的特点的是不改变向量额尺寸和向量间的夹角

假设二维空间中的向量$OA$，它在标准坐标系（也就是$e1$和$e2$表示的坐标系）中的表示为$(a,b{)}^T$，其用另一组坐标$e{1}^{{}^{\prime }}$,$e{2}^{{}^{\prime }}$表示为$(a^{{}^{\prime }},b^{{}^{\prime }}{)}^T$，那么存在矩阵$U$使得$(a^{{}^{\prime }},b^{{}^{\prime }}{)}^T=U(a,b{)}^T$，而矩阵$U$就是正交矩阵。

由上图可知，

• 正交变换只是将变换向量用另一组正交基来表示，在这个过程中没有对向量做拉伸，也不会改变向量的空间位置；
• 两个向量同时做正交变换，变换前后两个向量的夹角也不会改变；
  上图是一个旋转的正交变换，可以把$e{1}^{{}^{\prime }},e{2}^{{}^{\prime }}$的坐标系看做是$e1,e2$坐标系经过旋转某个角度$\theta$得到的， $a^{{}^{\prime }},b^{{}^{\prime }}$实际上是$x$在$e{1}^{{}^{\prime }},e{2}^{{}^{\prime }}$轴上投影的大小，所以直接做内积可得：
  $$\left[\begin{array}{c}{a}^{{}^{\prime }}\\ b^{{}^{\prime }}\end{array}\right]=\left[\begin{array}{c}e{1}^{{}^{\prime }}\\ e{2}^{{}^{\prime }}\end{array}\right]x$$
  从图中可以看出：
  $$e{1}^{{}^{\prime }}=\left[\begin{array}{c}cos\theta \\ sin\theta \end{array}\right]e{2}^{{}^{\prime }}=\left[\begin{array}{c}-sin\theta \\ cos\theta \end{array}\right]$$
  所以：$$U=\left[\begin{array}{cc}cos\theta & sin\theta \\ -sin\theta & cos\theta \end{array}\right]$$
  总结：
  • 正交矩阵的行（列）向量都是两两正交的单位向量；
  • 它有两种表现：旋转和反射；
  • 正交矩阵将标准正交基映射为标准正交基（即图中从e1、e2到e1’、e2’）

特征分解定义及原理

首先回顾下特征值和特征向量的定义如下：
$$Ax=\lambda x$$
其中$A$是个$n\times n$的实对称矩阵，$x$是一个$n$维向量，$\lambda$是矩阵$A$的一个特征值，而$x$是矩阵$A$的特征值$\lambda$所对应的特征向量。
求出特征向量和特征值之后可以将矩阵A进行特征分解。如果求出了矩阵$A$的n个特征值 ${\lambda }_1\le {\lambda }_2\le ...\le {\lambda }_n$，以及这$n$个特征值对应的特征向量$[x_1,x_2,...,x_n]$，如果这$n$个特征向量线性无关，那么矩阵$A$可以用下式的特征分解表示：
$$A=U\Sigma U^{-1}$$
其中$U$是这n个特征向量所组成的$n\times n$维矩阵，而$\Sigma$为这$n$个特征值为主对角线的$n\times n$维矩阵。
这里选择特殊的矩阵–对角阵：

• 对称矩阵不同特征值对应的特征向量两两正交。
• 一个矩阵能够相似对角化说明其特征子空间即为列空间，若不能对角化说明其特征子空间为列空间的子空间。

由于对称阵特征向量两两正交，所以$U$为正交阵，正交阵的逆矩阵等于其转置，此时满足$U^{T}U=I$，即$U^T=U^{-1}$，也就是说$U$为酉矩阵。这样特征分解表达式就可以写成：
$$A=U\Sigma U^T$$
矩阵$A$分解了，其对应的映射也分解为三个映射，现在假设有$x$向量，用矩阵A对其进行变换，变换到A的列空间中，那么首先由$U^T$先对$x$做变换：
$$Ax=U\Sigma U^{T}x$$
$U$是正交阵$U^T$也是正交阵，所以$U^T$对$x$的变换是正交变换，也就是将$x$用新的坐标系来表示，这个坐标系就是$A$的所有正交的特征向量构成的坐标系。将$x$用$A$的所有特征向量$[x_1,x_2,...,x_n]$表示为：
$$x=a_1{x}_1+a_2{x}_2+...+a_m{x}_m$$
则通过第一个变换就可以把$x$表示为$[a_1,a_2,...,a_m{]}^T$:
$$U\Sigma U^{T}x=U\Sigma$$

$$U\Sigma U^{T}x=U\Sigma \left[\begin{array}{c}{x}_1^T\\ x_2^T\\ ...\\ x_m^T\end{array}\right](a_1{x}_1+a_2{x}_2+...+a_m{x}_m)=U\Sigma \left[\begin{array}{c}{a}_1\\ a_2\\ ...\\ a_m\end{array}\right]$$
紧接着，在新的坐标系下，由中间那个对角 矩阵对新的向量坐标变换，其结果就是将向量往各个轴方向拉伸或压缩：
$$U\Sigma \left[\begin{array}{c}{a}_1\\ a_2\\ ...\\ a_m\end{array}\right]=U\left[\begin{array}{ccc}{\lambda }_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & {\lambda }_m\end{array}\right]\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_m\end{array}\right]=U\left[\begin{array}{c}{\lambda }_1{a}_1\\ {\lambda }_2{a}_2\\ ⋮\\ {\lambda }_m{a}_m\end{array}\right]$$

从上图可以看到，如果$A$不是满秩的话，那么就是说对角阵的对角线上元素存在0，这时候就会导致维度退化，这样就会使映射后的向量落入m维空间的子空间中。从上图可以看到，如果$A$不是满秩的话，那么就是说对角阵的对角线上元素存在0，这时候就会导致维度退化，这样就会使映射后的向量落入m维空间的子空间中。
最后一个变换就是$U$对拉伸或压缩后的向量做变换，由于$U$和$U^T$是互为逆矩阵，所以$U$变换是$U^T$变换的逆变换。
因此，从对称阵的分解对应的映射分解来分析一个矩阵的变换特点是非常直观的。假设对称阵特征值全为1那么显然它就是单位阵，如果对称阵的特征值有个别是0其他全是1，那么它就是一个正交投影矩阵，它将m维向量投影到它的列空间中。

根据对称阵$A$的特征向量，如果$A$是2 * 2的，那么就可以在二维平面中找到这样一个矩形，是的这个矩形经过$A$变换后还是矩形：

这个矩形的选择就是让其边都落在A的特征向量方向上，如果选择其他矩形的话变换后的图形就不是矩形了！

注意到要进行特征分解，矩阵$A$必须为方阵。那么如果$A$不是方阵，就需要SVD登场了。

SVD的定义

SVD和特征分解不同，其不要求分解的矩阵为方阵。假设我们的矩阵$A$是一个$m\times n$的就矩阵，那么矩阵$A$的SVD为：
$$A=U\Sigma V^T$$
其中$U$是$m\times m$阶酉矩阵；$\Sigma$是$m\times n$阶非负实数对角矩阵；而$V^T$是$V$的共轭转置，是$n\times n$阶酉矩阵。$\Sigma$对角线上的元素${\Sigma }_{i,i}$即为$M$的奇异值。（酉矩阵：$U$和$V$都是酉矩阵， 既满足$U^{T}U=I,V^{T}V=I$）

如何求解SVD

• 右奇异向量
  如果将$A^T$和$A$做矩阵乘法，那么得到一个$n\times n$的一个方阵$A^{T}A$，既然$A^{T}A$是方针，那么我们就可以进行特征分解，得到的特征值和特征向量满足下式：
  $$(A^{T}A)v_i={\lambda }_i{v}_i$$
  那么我们就可以得到矩阵$A^{T}A$的$n$个特征值和对应的$n$个特征向量$v$了。将$A^{T}A$的所有特征向量张成一个$n\times n$的矩阵$V$，就是我们SVD里面的$V$矩阵了。一般我们将$V$中的每个特征向量叫做$A$的右奇异向量。

• 左奇异向量
  将$A$和$A$的转置做矩阵乘法，那么会得到$m\times m$的一个方针$A{A}^T$，同理可以对其进行特征分解，得到的特征值和特征向量满足下式：
  $$(A{A}^T){\mu }_i={\lambda }_i{\mu }_i$$
  那么就可以得到矩阵$A{A}^T$的m个特征值和对应的m个特征向量${\mu }_i$了。将其所有特征向量张成一个$m\times m$的矩阵$U$，就是SVD矩阵里面的$U$矩阵，一般将$U$中的每个特征向量叫做$A$的记忆向量。

• 奇异值矩阵
  想要求$\Sigma$，只需要求出其对角线上每个奇异值$\sigma$，我们注意到：
  $$A=U\Sigma V^T\Rightarrow AV=U\Sigma V^{T}V\Rightarrow AV=U\Sigma \Rightarrow A{v}_i={\sigma }_i{\mu }_i\Rightarrow {\sigma }_i=A{v}_i/{\mu }_i$$
  这样就可以求出我们的每个奇异值，进而求出奇异值矩阵$\Sigma 。$

上面说$A^{T}A$的特征向量组成的就是$V$矩阵，这有什么根据呢？这个很容易证明，以矩阵$V$为例：

$$A=U\Sigma V^T\Rightarrow A^T=V{\Sigma }^T{U}^T\Rightarrow A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^2{V}^T$$
可以看出$A^{T}A$的特征向量组成的的确就是我们SVD中的$V$矩阵（$A^{T}AV=V{\Sigma }^2$)，类似的方法可以的到$A{A}^T$的特征向量组成的就是我们SVD中的$U$矩阵。

进一步还可以看出特征值矩阵等于奇异值矩阵的平方，也就是特征值和奇异值满足如下关系：
$${\sigma }_i=\sqrt{{\lambda }_i}$$
这样也就是说，我们可以不用${\sigma }_i=A{v}_i/{\mu }_i$来计算奇异值，也可以通过求出$A^{T}A$的特征值取平方根来求奇异值。

SVD原理

上面的特征值分解的$A$矩阵是对称阵，根据特征分解可以找到一个超矩阵使得变换后还是超矩阵（$A$可以将一组正交基映射到另一组正交基）。那么对于现在来分析：对任意$M\times N$的矩阵，是否能够找到一组正交基使得经过它的变换后仍然还是正交基？答案是肯定的，它就是SVD分解的精髓所在。

现在的目标是在$n$维空间在红找到一组正交基，使得经过$A$变换后还是正交的。假设已经找到这样一组正交基：
{ v 1 , v 2 , . . . , v n } \{ v_1, v_2, ..., v_n\} {v1​,v2​,...,vn​}
则矩阵$A$将这组基映射为:
{ A v 1 , A v 2 , . . . , A v n } \{ Av_1, Av_2, ..., Av_n\} {Av1​,Av2​,...,Avn​}
如果它们两两正交，即：
$$A{v}_i\cdot A{v}_j=(A{v}_i{)}^{T}A{v}_j=v_i^T{A}^{T}A{v}_j=0$$
根据假设，存在：
$$v_i^T{v}_j=v_i{v}_j=0$$
所以如果选择正交基$v$为$A^{T}A$的特征向量的话，由于$A^{T}A$是对称阵，$v$之间两两正交，那么：
$$v_i^T{A}^{T}A{v}_j=v_i^T{\lambda }_j{v}_j={\lambda }_j{v}_i^T{v}_j={\lambda }_j{v}_i\cdot v_j=0$$
这样就找到了一组正交基$v$，使其映射后还是正交基。现在将映射后的正交基单位化，因为：
$$A{v}_i\cdot A{v}_i={\lambda }_i{v}_i\cdot v_i={\lambda }_i$$
所以
$$|A{v}_i{|}^2={\lambda }_i\ge 0$$
所以取单位向量：
$$A{v}_i={\sigma }_i{\mu }_i,{\sigma }_i=\sqrt{{\lambda }_i},0\le i\le k,k=Rank(A)$$

当$k<i<=m$时，对${\mu }_1，{\mu }_2，\dots ，{\mu }_k$进行扩展${\mu }_{k+1}，\dots ，{\mu }_m$，使得${\mu }_1，{\mu }_2，\dots ，{\mu }_m$为m维空间中的一组正交基，即将 { μ 1 ， μ 2 ， … ， μ k } \{ \mu_1，\mu_2，…，\mu_k \} {μ1​，μ2​，…，μk​}正交基扩展成 { μ 1 ， μ 2 ， … ， μ m } R m \{ \mu_1，\mu_2，…，\mu_m \} R^m {μ1​，μ2​，…，μm​}Rm空间的单位正交基，同样的，对$v_1，v_2，\dots ，v_k$进行扩展$v_{(k+1)},\dots ,v_n$（这n-k个向量存在于$A$的零空间中，即$Ax=0$的解空间的基），使得$v_1，v_2，\dots ，v_n$为$n$维空间中的一组正交基，即： 在A的零空间中选择 { v k + 1 ， v k + 2 ， … ， v n } \{v_{k+1}，v_{k+2}，…，v_n\} {vk+1​，vk+2​，…，vn​}使得$A{v}_i=0，i>k$并取${\sigma }_i=0$则可得到:
继而得到$A$矩阵的奇异值分解：
$$A=U\Sigma V^T$$

现在可以来对A矩阵的映射过程进行分析了：如果在n维空间中找到一个（超）矩形，其边都落在$A^{T}A$的特征向量的方向上，那么经过A变换后的形状仍然为（超）矩形！
$v_i$为$A^{T}A$的特征向量，称为$A$的右奇异向量，${\mu }_i=A{v}_i$实际上为$A{A}^T$的特征向量，称为$A$的左奇异向量。

利用矩阵分块乘法展开得到：


另：


则$A=XY$即是A的满秩分解。

SVD的一些性质

对于奇异值，它和我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列的，而且奇异值减少的特别快。在很多情况下，前10%甚至1%的奇异值的和就占了全部奇异值之和的99%以上的比例。也就是说我们可以用最大的k个奇异值和对应的左右奇异值向量来近似描述矩阵：
$$A_{m\times n}=U_{m\times m}{\Sigma }_{m\times n}{V}_{n\times n}^T\approx U_{m\times k}{\Sigma }_{k\times k}{V}_{k\times n}^T$$
其中k要比n小很多，也就是一个大的矩阵$A$ 可以用三个小的矩阵来表示。如下图所示，矩阵$A$只需要灰色部分的三个小矩阵就可以 近似描述了。k越接近于n，结果越接近于A。

由于SVD的这个重要性质，SVD可以用于PCA降维，来做数据压缩和去噪，也可以用于推荐算法，将效用矩阵进行特征分解，得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义分析（LSI）。

SVD用于PCA降维

主成分分析PCA被用于降维，需要找到样本协方差矩阵$X^{T}X$的最大的d个特征向量，然后用这最大的d个特征向量张成的矩阵来做低维投影降维。可以看出，在这个过程中需要先求出协方差矩阵$X^{T}X$，当样本数和特征数很多的时候，这个计算量是很大的。

而SVD也可以得到协方差矩阵$X^{T}X$最大的d个特征向量张成的矩阵。但是SVD的一个好处是，一些实现算法可以不先求出协方差矩阵$X^{T}X$，也能够求出右奇异矩阵$V$。也就是说，我们的PCA算法可以不用做特征分解，而是通过SVD来完成的。这个方法在样本量很大的时候很有效。实际上，scikit-learn的PCA算法的背后真正的实现就是用的SVD，而不是我们我们认为的暴力特征分解。

可以看出，PCA仅仅使用了右奇异矩阵，右奇异矩阵可以用于列数即特征维度的压缩，那么相应的左奇异矩阵可以用于行数的压缩：假设我们的样本是$m\times n$的矩阵$X$，如果我们通过SVD找到了矩阵$X{X}^T$最大的d个特征向量张成的$m\times d$维矩阵$U$，则我们如果进行如下处理：
$$X_{d\times n}^{{}^{\prime }}=U_{d\times m}^T{X}_{m\times n}$$
可以得到一个$d\times n$的矩阵$X^{{}^{\prime }}$，这个矩阵和我们原来的$m\times n$维样本$X$相比，行数从m减到了d，借鉴，左奇异矩阵可以用于行数的压缩。

SVD小结

在很多的机器学习算法中都有它的身影，它有很多的优点:

• 可以实行并行化
• 原理简单

而缺点:

• 分解出的矩阵解释性不强，但是不影响使用。

参考资料

1. 奇异值分解(SVD)原理与在降维中的应用

2. 奇异值分解（SVD）原理