全面理解奇异值分解

本篇笔记主要参考《统计学习方法》

奇异值分解的定义与性质

定义与定理

奇异值分解又叫做SVD，是一种矩阵因子分解方法，是统计学习中的重要工具。

任意一个m x n矩阵，都可以表示为三个矩阵的乘积形式，分别是m阶标准正交矩阵、由降序排列的非负对角线元素组成的m x n矩形对角矩阵和n阶标准正交矩阵，这就称为该矩阵的奇异值分解。

奇异值分解可以看作矩阵数据压缩的一种方法，即用因子分解的方式近似地表示原始矩阵，这种近似是在平方损失意义下的最优近似。

统计学习方法中对奇异值分解定义如下

其中
$$\begin{array}{l}U{U}^{\mathrm{T}}=I\\ V{V}^{\mathrm{T}}=I\\ \Sigma =\mathrm{diag}\left({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_p\right)\\ {\sigma }_1⩾{\sigma }_2⩾\cdots ⩾{\sigma }_p⩾0\\ p=\min (m,n)\end{array}\text{\hspace{1em}(1.0)}$$
其实个人认为书本里面的用语可能不够严谨，U和V在上面条件的定义下应该是标准正交矩阵。上式中的$\sigma$就是奇异值，U的列向量称为左奇异向量，V的列向量称为右奇异向量。

事实上矩阵的奇异值分解可以看作是方阵对角化的推广。还值得一提的是实对称阵一定可以对角化。为什么值得一提？因为这个结论是另一个结论的证明基础：任意m x n的实矩阵都存在满足公式(1.0)要求的奇异值分解。这就是奇异值分解基本定理，表述如下：

下面是定理的证明，该证明过程也是奇异值计算的过程。

---

奇异值分解基本定理证明：

先考虑A’A。首先因为A’A是实对称阵，所以必然存在一个n阶正交矩阵V能实现A’A的对角化（相似变换）。同时因为是A’A，所以其有特征值都大于0的性质（这个性质简单想想就容易得出，A’A相当于计算模，行列式大于0，所以所有特征值肯定也都大于0）。令x是A’A的特征向量，对应特征值为$\lambda$，证明如下
$$\Vert Ax{\Vert }^2=x^{\mathrm{T}}{A}^{\mathrm{T}}Ax=\lambda x^{\mathrm{T}}x=\lambda \Vert x{\Vert }^2$$
于是
$$\lambda =\frac{\Vert Ax{\Vert }^2}{\Vert x{\Vert }^2}⩾0$$
假设调整一下正交矩阵让所有特征值形成降序排列
$${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_n⩾0$$
那么特征值的平方根就是矩阵A的奇异值
$${\sigma }_j=\sqrt{{\lambda }_j},j=1,2,\cdots ,n$$
因为A的秩是r，所以A’A的秩也是r，这里可参照Ax=o中x的空间的维度与A’Ax=o的x空间的维度一致，由维数定理可知秩也一致。所以非0特征值个数与0特征值个数都可以确定了：
$${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_r>0,{\lambda }_{r+1}={\lambda }_{r+2}=\cdots ={\lambda }_n=0$$
对应地，奇异值也一样
$${\sigma }_1⩾{\sigma }_2⩾\cdots ⩾{\sigma }_r>0,{\sigma }_{r+1}={\sigma }_{r+2}=\cdots ={\sigma }_n=0$$
这时候根据奇异值是否为0，来对矩阵V进行分块操作，令
$$V_1=\left[\begin{array}{llll}{\nu }_1& {\nu }_2& \cdots & {\nu }_r\end{array}\right],V_2=\left[\begin{array}{llll}{\nu }_{r+1}& {\nu }_{r+2}& \cdots & {\nu }_n\end{array}\right]$$
这样0特征值对应的列向量成一块，非零特征值对应的列向量也成一块。就构成了n阶正交矩阵V。标准化一下可得标准正交阵V。缩放特征向量其对应的特征值是不变的，所以缩小模长倍也OK。
这时候看中间的对角阵，先定义r阶对角阵为
$${\Sigma }_1=\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right]$$
于是m x n矩形对角矩阵可表示为
$$\Sigma =\left[\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right]$$
这是V和对角阵都确定，先不急着确定U，继续看看V，由于其列向量构成A’A的特征向量，所以
$$A^{\mathrm{T}}A{v}_j=0,j=r+1,\cdots ,n$$
这里发现$V_2$的列向量构成了A’A的零空间，也就是核，所以$V_2$的列向量也构成A的零空间的一组标准正交基，于是可得
$$A{V}_2=0$$
根据分块矩阵和正交阵的性质，有
$$\begin{array}{c}I=V{V}^{\mathrm{T}}=V_1{V}_1^{\mathrm{T}}+V_2{V}_2^{\mathrm{T}}\\ A=AI=A{V}_1{V}_1^{\mathrm{T}}+A{V}_2{V}_2^{\mathrm{T}}=A{V}_1{V}_1^{\mathrm{T}}\end{array}$$
完毕，接下来确定U！
令
$$\begin{array}{c}{u}_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,\cdots ,r\\ U_1=\left[\begin{array}{llll}{u}_1& u_2& \cdots & u_r\end{array}\right]\end{array}$$
这时候可知这r个u一定是线性无关的了，
$$A{V}_1=U_1{\Sigma }_1$$
U1的列向量构成一组标准正交基，因为
$$\begin{array}{rl}{u}_i^{\mathrm{T}}{u}_j& =\left(\frac{1}{{\sigma }_i}{v}_i^{\mathrm{T}}{A}^{\mathrm{T}}\right)\left(\frac{1}{{\sigma }_j}A{v}_j\right)\\ & =\frac{1}{{\sigma }_i{\sigma }_j}{v}_i^{\mathrm{T}}\left(A^{\mathrm{T}}A{v}_j\right)\\ & =\frac{{\sigma }_j}{{\sigma }_i}{v}_i^{\mathrm{T}}{v}_j\\ & ={\delta }_{ij},i=1,2,\cdots ,r;j=1,2,\cdots ,r\end{array}$$
那现在要做的就是把u扩展成m维，使得U1到Um变成m维空间中的一组正交基，只是从r维往后的U是落在Ax=o解空间里面了。
所以可以这样定义U：
$$\begin{array}{l}{U}_2=\left[\begin{array}{lllc}{u}_{r+1}& u_{r+2}& \cdots & u_m\end{array}\right]\\ U=\left[\begin{array}{ll}{U}_1& U_2\end{array}\right]\end{array}$$
上面都是在说A’A，所以最后，我们来验证一下上面得到的U，V和对角阵确实最终组成的是A的表达式：
$$\begin{array}{rl}U\Sigma V^{\mathrm{T}}& =\left[U_1{U}_2\right]\left[\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{c}{V}_1^{\mathrm{T}}\\ V_2^{\mathrm{T}}\end{array}\right]\\ & =U_1{\Sigma }_1{V}_1^{\mathrm{T}}\\ & =A{V}_1{V}_1^{\mathrm{T}}\\ & =A\end{array}$$
其实这里V为A’A的特征向量（右奇异向量），U为AA’的特征向量（左奇异向量）。

---

奇异值分解的几种形式

完全奇异值分解

就是前一节里面分解的形式对矩阵所有奇异值都分解好：
$$A=U\Sigma V^{\mathrm{T}}$$

紧奇异值分解

所谓紧奇异值分解，就是与原始矩阵A等秩的奇异值分解。若秩为r，紧奇异值分解就是
$$A=U_r{\Sigma }_r{V}_r^{\mathrm{T}}$$
其实就是前一节中，只取U、V和对角阵的第一部分，丢掉对角阵0特征值部分，丢掉U的r后面的列，丢掉V’的r后面的行。

一般奇异值分解不特别说明的话就是紧奇异值分解。

截断奇异值分解

所谓截断奇异值分解，就是比原始矩阵A低秩的奇异值分解。
$$A\approx U_k{\Sigma }_k{V}_k^{\mathrm{T}}$$

几何解释

下面是《统计学习方法》中给出的几何解释：

主要性质

矩阵的奇异值分解有如下几个主要性质：

• 因为$A=U\Sigma V^{\mathrm{T}}$，所以$AV=U\Sigma$。奇异值、左奇异向量和右奇异向量存在如下关系
  $$A{v}_j={\sigma }_j{u}_j,j=1,2,\cdots ,n$$
• 矩阵A的奇异值分解中，奇异值是唯一的，而U和V不是唯一的
• 矩阵A和$\Sigma$的秩相等，等于正奇异值个数r
• 矩阵A的r个右奇异向量构成A’的像空间的标准正交基，剩下n-r个右奇异向量构成A’核空间的标准正交基；矩阵A的r个左奇异向量构成A的像空间的标准正交基，m-r个左奇异向量构成A的核空间的标准正交基

奇异值分解的计算

其实根据前一节奇异值分解定理的证明过程，对奇异值分解的计算过程也应当理解迅速了。矩阵A的奇异值分解可以通过求对称矩阵A’A的特征向量和特征值得到。A’A的特征向量构成正交矩阵V的列，特征值的平方根为奇异值。由小到大排列后作为对角线元素，构成对角矩阵。之后求奇异值对应的左奇异向量，再扩充标准正交基，构成正交矩阵U的列。

上面一段话可以总结分成下面几个步骤：

• 求$A^{T}A$的特征值和特征向量
• 求n阶正交矩阵V
• 求m x n对角矩阵$\Sigma$
• 求m阶正交矩阵U
• 得出奇异值分解

奇异值分解与矩阵近似

弗罗贝尼乌斯范数

弗罗贝尼乌斯范数的表达式如下，这里a代表矩阵中的元素。弗罗贝尼乌斯范数就是矩阵中所有元素的平方和再开更号，也就是矩阵的二范数，也就是L2范数的推广。
$$\Vert A{\Vert }_F={\left(\sum _{i=1}^m\sum _{j=1}^n{\left(a_{ij}\right)}^2\right)}^{\frac{1}{2}}$$
引入这个范数后，可得如下结论：
$$\Vert A{\Vert }_F={\left({\sigma }_1^2+{\sigma }_2^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}$$
这里的$\sigma$是矩阵的奇异值。这个结论很有用，下一节说明结论代表了什么意思。先看看这个结论的证明。

这个证明很简单，要证明上面的式子等价于证明
$$\Vert QA{\Vert }_F=\Vert A{\Vert }_F$$
而
$$\begin{array}{rl}\Vert QA{\Vert }_F^2& ={\Vert \left(Q{a}_1,Q{a}_2,\cdots ,Q{a}_n\right)\Vert }_F^2\\ & =\sum _{i=1}^n{\Vert Q{a}_i\Vert }_2^2=\sum _{i=1}^n{\Vert a_i\Vert }_2^2=\Vert A{\Vert }_F^2\end{array}$$
所以
$$\Vert A{\Vert }_F={\Vert U\Sigma V^{\mathrm{T}}\Vert }_F=\Vert \Sigma {\Vert }_F$$
得证。

矩阵的最优近似

现在就来谈谈上面的那个结论代表了什么意思了。其实奇异值分解可视作平方损失弗罗贝尼乌斯范数意义下对矩阵的最优近似，也就是说，如果用弗罗贝尼乌斯范数来衡量矩阵的信息，那么奇异值分解一丁点都没有损伤矩阵的信息，从而还达成了压缩的效果。

关于最优近似的一个定理1为

也就是说，秩不超过k的所有矩阵里面，将A与其相减之后得出的能让F值达到最小的那个值，这个情况下的矩阵X就是A的最优近似。这和上面不一样了，如果k可以达到r，那一点信息损失都不会有，问题是现在k小于r，既然损失没法避免，那么取最小的就是自然的思想。这里的损失函数也就是弗罗贝尼乌斯范数。

另一个定理2为：

特别地，若$A^{\prime }=U{\Sigma }^{\prime }{V}^{\mathrm{T}}$，其中
$${\Sigma }^{\prime }=\left[\begin{array}{cccccc}{\sigma }_1& & & & & \\ & \ddots & & & 0& \\ & & {\sigma }_k& & & \\ & & & 0& & \\ & 0& & & \ddots & \\ & & & & & 0\end{array}\right]=\left[\begin{array}{cc}{\Sigma }_k& 0\\ 0& 0\end{array}\right]$$
则
$${\Vert A-A^{\prime }\Vert }_F={\left({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}=\underset{S\in \mathcal{M}}{\min }\Vert A-S{\Vert }_F$$

也就是说，如果按定理1说的那样，找到了这样一个矩阵X，那么在X的近似下和原来A差多少呢？也就是说用了X近似之后损失了多少信息呢？定理2告诉你，在用弗罗贝尼乌斯当做评价指标的情况下，差了${\left({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}$这么多。

也就是说A的信息被遗弃的最少的情况(${\min }_{S\in \mathcal{M}}\Vert A-S{\Vert }_F$)再少也少不过${\left({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}$这么多，能达成这样这已经是最优了，是最优近似了。而A’就是那个最优近似，即$X=A^{\prime }=U{\Sigma }^{\prime }{V}^{\mathrm{T}}$。

这里的证明较为繁琐，就不展开说明了。这里的A’其实就是截断奇异值分解，是秩为k的所有矩阵中在弗罗贝尼乌斯范数意义下对A的最优近似矩阵。