《统计学习方法》——奇异值分解(SVD)

  奇异值分解(singular value decomposition,SVD)是矩阵因子分解方法。主成分分析、潜在语义分析都用到奇异值分解。矩阵的奇异值分解可以看作是方阵对角化的推广。

15.1 奇异值分解的定义与性质

15.1.1 定义与定理

• 定义15.1（奇异值分解）矩阵的奇异值分解是指，将一个非零的$m\times n$实矩阵$A$，$A\in R^{m\times n}$，表示为以下三个实矩阵乘积形式的运算，即进行矩阵的因子分解：
  $$A=U\sum V^T$$其中，$U$是$m$阶正交矩阵(orthogonal matrix)，$V$是$n$阶正交矩阵，$\sum$是由降序排列的非负的对角元素组成的$m\times n$矩形对角矩阵(rectangular diagonal matrix). $$U{U}^T=I$$ $$V{V}^T=I$$$$\sum =diag({\sigma }_1,{\sigma }_2,\cdot \cdot \cdot ,{\sigma }_p)$$$${\sigma }_1\ge {\sigma }_2\ge \cdot \cdot \cdot \ge {\sigma }_p\ge 0$$$$p=min(m,n)$$ $U\sum V^T$称为矩阵A的奇异值分解，${\sigma }_i$称为矩阵A的奇异值，$U$的列向量称为左奇异向量，$V$的列向量称为右奇异向量。

• 定理15.2（奇异值分解基本定理）若$A$为一$m\times n$实矩阵，$A\in R^{m\times n}$，则$A$的奇异值分解一定存在 $$A=U\sum V^T$$其中，$U$是$m$阶正交矩阵(orthogonal matrix)，$V$是$n$阶正交矩阵，$\sum$是由降序排列的非负的对角元素组成的$m\times n$矩形对角矩阵。
  $定理证明：$ 证明属于构造性的，即构造出奇异值分解的各个矩阵，步骤如下：

1. 确定矩阵$V$和$\sum$:
     矩阵$A$是$m\times n$实矩阵，则矩阵$A^{T}A$是$n$阶实对称矩阵，因而$A^{T}A$的特征值都是实数，并且存在一个$n$阶正交实矩阵$V$实现$A^{T}A$的对角化，使得$V^T(A^{T}A)V=\bigwedge$成立，其中$\bigwedge$是$n$阶对角矩阵，其对角线元素由$A^{T}A$的特征值组成。（$实对称矩阵一定可以对角化----矩阵理论$）。
     $A^{T}A$的特征值都是非负的，令$\lambda$矩阵$A^{T}A$ 的一个特征值，$x$是对应的特征向量，所以：$$||Ax|{|}^2=x^T{A}^{T}Ax=\lambda x^{T}x=\lambda ||x|{|}^2$$于是，$$\lambda =\frac{||Ax|{|}^2}{|x|{|}^2}\ge 0$$正交矩阵$V$的列的排列使得对应的特征值按照从大到小的顺序排列，$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$$ 计算特征值的平方根——矩阵A的奇异值$${\sigma }_j={\sqrt{\lambda }}_j,j=1,2,\cdots ,n$$设$A$的秩是$r$，$rank(A)=r$，则矩阵$A^{T}A$的秩也是$r$。由于$A^{T}A$是对称矩阵，它的秩等于正的特征值的个数，所以$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_r>0,{\lambda }_{r+1}={\lambda }_{r+2}=\cdots ={\lambda }_n=0$$对应的有$${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0,{\sigma }_{r+1}={\sigma }_{r+2}=\cdots ={\sigma }_n$$令$$V_1=[v_1{v}_2\cdots v_r],V_2=[v_{r+1},v_{r+2},\cdots ,v_n]$$ 其中，$v_1,v_2,\cdots ,v_r$分别是矩阵$A^{T}A$的正特征值对应的特征向量，$v_{r+1},v_{r+2},\cdots ,v_n$为0特征值对应的特征向量，则$$V=[V_1,V_2]$$此为矩阵特征值分解中的$n$阶矩阵$V$.
   令$$\sum _1=\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right]$$则${\sum }_1$是一个对角矩阵，其对角元素为降序排列的正的${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r$，于是$m\times n$矩形对角矩阵$\sum$可以表示为$$\sum _1=\left[\begin{array}{cc}{\sum }_1& 0\\ 0& 0\end{array}\right]$$这就是矩阵奇异值分解中的$m\times n$矩形对角矩阵$\sum$。
     上面的矩阵$V_2$的列向量是矩阵$A^{T}A$对应于特征值为0的特征向量。因此$$A^{T}A{v}_j=0，j=r+1,\cdots ,n$$$V_2$的列向量构成了矩阵$A^{T}A$的零空间$N(A^{T}A)$，而$N(A^{T}A)=N(A)$（$零空间问题证明$）。所以$V_2$的列向量构成$A$的零空间的一组标准正交基。因此$$A{V}_2=0$$由于$V$是正交矩阵，所以$$I=V^{T}V=V_1{V}_1^T+V_2{V}_2^T$$$$A=AI=A{V}_1{V}_1^T+A{V}_2{V}_2^T=A{V}_1{V}_1^T$$
2. 确定矩阵$U$
     构造$m$阶矩阵$U$。令$$u_j=\frac{1}{{\sigma }_j}A{v}_j，j=1,2,\cdots ,r$$$$U_1=[u_1{u}_2\cdots u_r]$$则有$$A{V}_1=U_1\sum _1$$
   $U_1$的列向量构成了一组标准正交集，因为$$u_i^T{u}_j=(\frac{1}{{\sigma }_i}{v}_i^T{A}^T)(\frac{1}{{\sigma }_j}A{v}_j)$$$$=\frac{1}{{\sigma }_i{\sigma }_j}{v}_i^T(A^{T}A{v}_j)$$$$=\frac{{\sigma }_j}{{\sigma }_i}{v}_i^T{v}_j$$$$={\delta }_{ij},i=1,2,\cdots ,r；j=1,2,\cdots ,r$$可知，$u_1,u_2,\cdots ,u_r$构成$A$的列空间的一组标准正交基，列空间的维数是$r$。
   令$u_{r+1},ur+2,\cdots ,u_m$为$N(A^T)$的一组标准正交基。因此，$U$是$m$阶正交矩阵，这就是矩阵A的奇异值分解中的$m$阶正交矩阵。
3. 证明$U\sum V^T=A$
   $$U\sum V^T=[U_1{U}_2]\left[\begin{array}{cc}{\sum }_1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{c}{V}_1^T\\ V_2^T\end{array}\right]$$$$=U_1\sum _1{V}_1^T=A{V}_1{V}_1^T=A$$这就是矩阵$A$的奇异值分解。

15.1.2 紧奇异值分解与截断奇异值分解

定义15.1的奇异值分解称为矩阵的完全奇异值分解，实际常用的紧奇异值分解与截断奇异值分解。紧奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵低秩的奇异值分解。

1. 紧奇异值分解
     设$m\times n$实矩阵$A$，$A\in R^{m\times n}$,其秩为$r$，$r\le min(m,n)$,则称$U_r{\sum }_r{V}_r$为矩阵A的紧奇异值分解，即$$A=U_r\sum _r{V}_r$$其中$U_r$是$m\times r$矩阵，$V_r$是$n\times r$矩阵，${\sum }_r$是$r$阶对角矩阵。$U_r$、$V_r$、${\sum }_r$分别是由矩阵$U$、$V$、$\sum$的前$r$列、前$r$列、前$r$个对角元素构成。紧奇异值分解的秩与原始矩阵$A$的秩相同。
2. 截断奇异值分解
     截断奇异值分解是取最大的$k$个奇异值($k<r$，$r$为矩阵的秩)对应的部分。
     设$m\times n$实矩阵$A$，$A\in R^{m\times n}$,其秩为$r$，且$0<k<r$,则称$U_k{\sum }_k{V}_k$为矩阵A的紧奇异值分解，即$$A\approx U_k\sum _k{V}_k$$其中$U_k$是$m\times k$矩阵，$V_k$是$n\times k$矩阵，${\sum }_k$是$k$阶对角矩阵。$U_k$、$V_k$、${\sum }_k$分别是由矩阵$U$、$V$、$\sum$的前$k$列、前$k$列、前$k$个对角元素构成。紧奇异值分解的秩比原始矩阵$A$的秩低。