《统计学习方法》学习笔记 第十五章 SVD(singular value decomposition)

1 奇异值分解的定义与性质

1.1 定义与定理

定义（singular value decomposition） 矩阵的因子分解$A=U\Sigma V^T$，$A\in {\mathbb{R}}^{m\times n}$，满足
$U{U}^T=I$ \quad m阶orthogonal matrix
$V{V}^T=I$ \quad n阶正交矩阵
$\Sigma =diag({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_p)$，${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_p\ge 0$
$p=\min (m,n)$
矩阵的奇异值分解不要求矩阵A是方阵，可以看作是方阵的对角化的推广。

任意给定一个实矩阵，其奇异值分解一定存在！
定理（奇异值分解基本定理） $A\in {\mathbb{R}}^{m\times n}$，则A的奇异值分解存在$A=U\Sigma V^T$，其中U和V分别是m阶和n阶正交矩阵，$\Sigma$是$m\times n$矩阵对角矩阵，其对角线元素非负，且按降序排列。
（证明太~太长了，不写了。）

1.2 紧奇异值分解与截断奇异值分解

上述定理是完全奇异值分解（full singular value decomposition）

1 compact singular value decomposition

定义 $A\in {\mathbb{R}}^{m\times n}$，$rank(A)=r$，$r\le \min (m,n)$，则$A=U_r{\Sigma }_r{V}_r^T$
$U_r\in {\mathbb{R}}^{m\times r}$，U的前r列
$V_r\in {\mathbb{R}}^{n\times r}$，V的前r列
${\Sigma }_r\in {\mathbb{R}}^{r\times r}$，$\Sigma$的前r个对角线元素
$rank({\Sigma }_r)=rank(A)$

2 truncated singular value decomposition

定义 $A\in {\mathbb{R}}^{m\times n}$，$rank(A)=r$，$0<k<r$，则$A\approx U_k{\Sigma }_k{V}_k^T$
$U_k\in {\mathbb{R}}^{m\times k}$，U的前k列
$V_k\in {\mathbb{R}}^{n\times k}$，V的前k列
${\Sigma }_k\in {\mathbb{R}}^{k\times k}$，$\Sigma$的前k个对角线元素
$rank({\Sigma }_k)<rank(A)$

紧奇异值分解对应着无损压缩，截断奇异值分解对应着有损压缩。

1.3 几何解释

复习线性变换：$A_{m\times n}$表示从$R^n$到$R^m$的一个线性变换，$T:x\to Ax$。
线性变换可以分解为三个简单的变换：
①一个坐标系的旋转或反射变换；
②一个坐标轴的缩放变换；
③另一个坐标系的旋转或反射变换。

$A=U\Sigma V^T$
$V$的列向量$v_1,v_2,\cdots ,v_n$构成$R^n$空间的一组标准正交基，表示$R^n$中的正交坐标系的旋转或反射变换；
$U$的列向量$u_1,u_2,\cdots ,u_n$构成$R^m$空间的一组标准正交基，表示$R^m$中的正交坐标系的旋转或反射变换；
$\Sigma$的对角元素${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n$表示$R^n$中的原始正交坐标系坐标轴的${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n$的缩放变换。

综上，矩阵的奇异值分解可以看作是将其对应的线性变换分解为旋转变换、缩放变换及旋转变换的组合。根据奇异值分解基本定理，这个变换的组合一定存在。

1.4 主要性质

1 $A=U\Sigma V^T$
$A^{T}A=(U\Sigma V^T{)}^T(U\Sigma V^T)=V({\Sigma }^T\Sigma )V^T$
$A{A}^T=(U\Sigma V^T)(U\Sigma V^T{)}^T=U(\Sigma {\Sigma }^T)U^T$
矩阵$A^{T}A$和$A{A}^T$的特征分解存在，V的列向量是$A^{T}A$的特征向量，U的列向量是$A{A}^T$的特征向量，$\Sigma$的奇异值是$A^{T}A$和$A{A}^T$的特征值的平方根。

2 奇异值、左、右奇异向量之间的关系
(1)$AV=U\Sigma$
比较这一等式两端的第j列，得到$A{v}_j={\sigma }_j{u}_j,j=1,2,\cdots ,n$，这是矩阵A的右奇异向量和奇异值、左奇异向量的关系。
(2)$A^{T}U=V{\Sigma }^T$
比较这一等式两端的第j列，得到
$A^T{u}_j={\sigma }_j{v}_j,j=1,2,\cdots ,n$，
$A^T{u}_j=0,j=n+1,n+2,\cdots ,m$
这是矩阵A的左奇异向量和奇异值、右奇异向量的关系。

3 奇异值唯一，U和V不唯一。

4 $rank(A)=rank(\Sigma )$，等于${\sigma }_i$的个数$r$(包含重复的奇异值)。

5 不想看。

2 奇异值分解的计算

① 求$A^{T}A$的特征值和特征向量
② 求$V_{n\times n}$
③ 求${\Sigma }_{m\times n}$

④ 求$U_{m\times m}$
对A的前r个正奇异值，令$u_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,\cdots ,r$
得到$U_1=[u_1{u}_2\cdots u_r]$
然后求$A^T$的零空间的一组标准正交基 { u r + 1 , u r + 2 , ⋯   , u m } \{u_{r+1},u_{r+2},\cdots,u_m\} {ur+1​,ur+2​,⋯,um​}
令$U_2=[u_{r+1}{u}_{r+2}\cdots u_m]$
$U=[U_1{U}_2]$

⑤ 得到奇异值分解$A=U\Sigma V^T$

3 奇异值分解与矩阵近似

3.1 Frobenius norm

Definition(Frobenius norm) $A\in {\mathbb{R}}^{m\times n}$，$A=[a_{ij}{]}_{m\times n}$，$||A|{|}_F=(\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}^2{)}^{\frac{1}{2}}$

Lemma $A\in {\mathbb{R}}^{m\times n}$，$A=U\Sigma V^T$，$\Sigma =diag({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n)$，则$||A|{|}_F=({\sigma }_1^2+{\sigma }_2^2+\cdots +{\sigma }_n^2{)}^{\frac{1}{2}}$

3.2 矩阵的最优近似

奇异值分解是在平方损失（Frobenius norm）意义下对矩阵的最优近似，即数据压缩。

Theorem 1 $A\in {\mathbb{R}}^{m\times n}$，$rank(A)=r$， M = { X ∈ R m × n ∣ r a n k ( X ) ≤ k , 0 < k < r } M=\{X\in \mathbb R^{m\times n}|rank(X)\le k,0<k<r\} M={X∈Rm×n∣rank(X)≤k,0<k<r}，则$\exists X\in M$，$rank(X)=k$，使得$||A-X|{|}_F=\underset{S\in M}{\min }||A-S|{|}_F$，称矩阵X为矩阵A在Frobenius norm意义下的最优近似。

Theorem 2 $A\in {\mathbb{R}}^{m\times n}$，$rank(A)=r$，$A=U\Sigma V^T$， M = { X ∈ R m × n ∣ r a n k ( X ) ≤ k , 0 < k < r } M=\{X\in \mathbb R^{m\times n}|rank(X)\le k,0<k<r\} M={X∈Rm×n∣rank(X)≤k,0<k<r}，若$X\in M$且$rank(X)=k$满足$||A-X|{|}_F=\underset{S\in M}{\min }||A-S|{|}_F$，则$||A-X|{|}_F=({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2{)}^{\frac{1}{2}}$
特别地，若$A^{\prime }=U{\Sigma }^{\prime }{V}^T$，其中${\Sigma }^{\prime }=\left[\begin{array}{cc}{\Sigma }_k& 0\\ 0& 0\end{array}\right]$，则
$||A-A^{\prime }|{|}_F=({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2{)}^{\frac{1}{2}}=\underset{S\in M}{\min }||A-S|{|}_F$.

3.3 矩阵的外积展开式

$U\Sigma =[{\sigma }_1{u}_1{\sigma }_2{u}_2\cdots {\sigma }_n{u}_n]$
$V^T=[v_1{v}_2\cdots v_n{]}^T$
$A={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots +{\sigma }_n{u}_n{v}_n^T$称为矩阵A的外积展开式。

$u_i{v}_j^T=\left[\begin{array}{c}{u}_{1i}\\ u_{2i}\\ ⋮\\ u_{mi}\end{array}\right]\left[v_{1j}{v}_{2j}\cdots v_{nj}\right]$

$A=\sum _{k=1}^n{A}_k=\sum _{k=1}^n{\sigma }_k{u}_k{v}_k^T,A_k={\sigma }_k{u}_k{v}_k^T\in R^{m\times n}$

若$rank(A)=n$，则$A={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots +{\sigma }_n{u}_n{v}_n^T$

设$A_{n-1}={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots +{\sigma }_{n-1}{u}_{n-1}{v}_{n-1}^T$，则$rank(A_{n-1})=n-1$，且$A_{n-1}$是秩为$n-1$矩阵在Frobenius norm意义下A的最优近似矩阵。以此类推。

通常奇异值${\sigma }_i$递减很快，所以k取很小值时，$A_k$也可以对A有很好的近似。

总结

唉，一章比一章难起来了！这一章书上有两大证明我略过去了，说实话没必要弄懂证明是不是？公式打得好累，矩阵看得头疼！但是会做题就行了，例题可以自行翻书，我就不搬上来了，超级简单，作者为了照顾我们这些渣渣真的有心了！如果有书写错误可以告诉我哦，抱拳~