Lecture 6: Singular Value Decomposition(SVD)

Singular Value Decomposition(SVD)

令$A$为$m\times n$的矩阵，借助两个矩阵，$A^{T}A(n\times n)$和$A{A}^T(m\times m)$，可以看出两个都是对称矩阵$(A^{T}A{)}^T=A^{T}A$，所以可以对其正交对角化。

$A^{T}A=V\Lambda V^T$ ，其中$V$里是$A^{T}A$的特征向量(eigenvectors)，$\Lambda$对角线是$A^{T}A$的特征值(eigenvalues)。
$A{A}^T=U\Lambda U^T$ ，其中$U$里是$A{A}^T$的特征向量(eigenvectors)，$\Lambda$对角线是$A{A}^T$的特征值(eigenvalues)。
关于$A^{T}A$和$A{A}^T$一个性质是，它们的非零特征值(non-zero eigenvalues)是相同的，下面简单证明一下：

$$\begin{array}{rl}& \text{suppose: }(A^{T}A)v_i={\lambda }_i{v}_i\\ & \text{then }A(A^{T}A)v_i={\lambda }_{i}A{v}_i\\ & \text{then }A{A}^T(A{v}_i)={\lambda }_i(A{v}_i)\end{array}$$

可见$u_i=\frac{A{v}_i}{||A{v}_i||}$（需要保证它是单位向量），现在的问题是$||A{v}_i||$是多少：
$$\begin{gathered} ||A{v}_i|{|}^2=(A{v}_i{)}^T(A{v}_i)=v_i^T{A}^{T}A{v}_i=v_i^T\lambda v_i={\lambda }_i \\ ||A{v}_i||=\sqrt{{\lambda }_i} \end{gathered}$$
这里我们定义奇异值${\sigma }_i=\sqrt{{\lambda }_i}$

所以$u_i=\frac{A{v}_i}{{\sigma }_i}$，$A{v}_i={\sigma }_i{u}_i$，换成矩阵表示为$AV=U\Sigma$，也就是$A=U\Sigma V^T$，这就是奇异值分解。

---

$AV=U\Sigma$，令$r$为$A$的rank，$A[v_1,...,v_m]=[u_1,...,u_n]\Sigma$，有：
A v 1 = σ 1 u 1 A v 2 = σ 2 u 2 . . . A v r = σ r u r A v r + 1 = 0 . . . A v m = 0 \begin{aligned} &Av_1 =\sigma_1u_1 \\ &Av_2 =\sigma_2u_2 \\ &... \\ &Av_r =\sigma_ru_r \\ &Av_{r+1} =0 \\ &...\\ &Av_m =0 \\ \end{aligned} ​Av1​=σ1​u1​Av2​=σ2​u2​...Avr​=σr​ur​Avr+1​=0...Avm​=0​

代回有

$$\begin{gathered} A^{T}A=(U\Sigma V^T{)}^T(U\Sigma V^T)=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^T\Sigma V^T=V\Lambda V^T \\ A{A}^T=(U\Sigma V^T)(U\Sigma V^T{)}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T=U\Lambda U^T \end{gathered}$$

举个例子，假设$\Sigma =\left(\begin{array}{ccc}1& 0& 0\\ 0& 2& 0\end{array}\right)$，${\Sigma }^T=\left(\begin{array}{cc}1& 0\\ 0& 2\\ 0& 0\end{array}\right)$，则${\Sigma }^T\Sigma =\left(\begin{array}{ccc}1& 0& 0\\ 0& 4& 0\\ 0& 0& 0\end{array}\right)$，$\Sigma {\Sigma }^T=\left(\begin{array}{cc}1& 0\\ 0& 4\end{array}\right)$。