SVD推导

申明： 仅个人小记

前提简要

1. $$A=U\Sigma V^T$$

2. $\overrightarrow{u_i}$为$U$的列向量，$\overrightarrow{v_i}$为$V$的列向量，$\overrightarrow{v_i}$和$\overrightarrow{u_i}$的直接关系为,$$A\overrightarrow{v_i}=\sqrt{{\lambda }_i}\overrightarrow{u_i}={\sigma }_i\overrightarrow{u_i}$$
3. $\overrightarrow{u_i}$称为左奇异向量，$\overrightarrow{v_i}$称为右奇异向量。
4. 注意！$\lambda$是矩阵$A^{T}A$的特征值，而不是矩阵$A$的特征值！
5. 我们把$\sqrt{{\lambda }_i}$记作${\sigma }_i$，并称为奇异值。
6. 当A可对角化时，奇异值${\sigma }_i$就是矩阵A的特征值。

既定事实，

1. 对于任意规格mXn矩阵$A$,$A^{T}A$为n*n规格的实对称矩阵。
2. 实对称矩阵必然存在n个线性无关的相互正交的单位特征向量
3. 正交矩阵的逆矩阵等于正交矩阵的转置
4. r ( A T A ) = r ( A ) = k , ( k ≤ m i n { m , n } ) r({A}^{T}A)=r(A)=k,(k\le min\left \{ m,n\right \}) r(ATA)=r(A)=k,(k≤min{m,n})，即$A^{T}A$的非零特征值的个数为k（重根分开计数）
5. 易知恒有$A^{T}A$的特征值${\lambda }_i\ge 0$，将特征值按降序排为${\lambda }_1,{\lambda }_2,,,{\lambda }_k,{\lambda }_{k+1},,,{\lambda }_n$,其中${\lambda }_k,{\lambda }_{k+1},,,{\lambda }_n$皆为零值。

推导开始

$A^{T}A$的n个n维度线性无关的相互正交的单位特征向量，记为$$\overrightarrow{v_1},\overrightarrow{v_2},...,\overrightarrow{v_n}$$所以有,$$A^{T}A\overrightarrow{v_i}={\lambda }_i\overrightarrow{v_i}=\{\begin{array}{ll}{\lambda }_i\overrightarrow{v_i},& i\le k\\ \vec{0},& i>k\end{array}$$$$\overrightarrow{v_i}\cdot \overrightarrow{v_j}=0,(i\ne j)以及\overrightarrow{v_i}\cdot \overrightarrow{v_i}=1$$所以下面只讨论非零特征值部分，$$\overrightarrow{v_j}\cdot A^{T}A\overrightarrow{v_i}=\overrightarrow{v_j}\cdot {\lambda }_i\overrightarrow{v_i}，(i,j\le k)$$
进而有，$${\overrightarrow{v_j}}^T{A}^{T}A\overrightarrow{v_i}=\lambda \overrightarrow{v_j}\cdot \overrightarrow{v_i},(i,j\le k)$$显然，$${(A\overrightarrow{v_j})}^T\cdot (A\overrightarrow{v_i})={\lambda }_i\cdot \{\begin{array}{ll}0,& i\ne j\\ 1,& i=j\end{array}$$

即,$$(A\overrightarrow{v_j})\cdot (A\overrightarrow{v_i})=\{\begin{array}{ll}0,& i\ne j\\ {\lambda }_i,& i=j\end{array},(i,j\le k)$$
即得，$$\left|A\overrightarrow{v_i}\right|={\sqrt{\lambda }}_i且A\overrightarrow{v_i}\perp A\overrightarrow{v_j}$$

说明，$A\overrightarrow{v_1},A\overrightarrow{v_2},...,A\overrightarrow{v_k}$是一组m维度列向量的正交基。其中$\sqrt{{\lambda }_i}$称为奇异值，记为${\sigma }_i$。

进而我们将这组正交基正规化，即化为每个向量都变为模为1的向量，即$$\frac{A\overrightarrow{v_1}}{\left|A\overrightarrow{v_1}\right|},\frac{A\overrightarrow{v_2}}{\left|A\overrightarrow{v_2}\right|},...,\frac{A\overrightarrow{v_k}}{\left|A\overrightarrow{v_k}\right|}$$

即,$$\frac{A\overrightarrow{v_1}}{\sqrt{{\lambda }_1}},\frac{A\overrightarrow{v_2}}{\sqrt{{\lambda }_2}},...,\frac{A\overrightarrow{v_k}}{\sqrt{{\lambda }_k}}$$

记作(注意$\vec{v}$和$\vec{u}$之间的直接关系)，$$\overrightarrow{u_1},\overrightarrow{u_2},...,\overrightarrow{u_k},(注意：\overrightarrow{u_i}是m维的列向量)$$因为$k\le m$，且$\overrightarrow{u_i}$是m维度的，所以可以补充m维正交向量，使得$$\overrightarrow{u_1},\overrightarrow{u_2},,,\overrightarrow{u_m}$$为m个m维度的正交向量组。

此处梳理下，以上的推导结果为$$\overrightarrow{u_i}\cdot \overrightarrow{u_j}=\{\begin{array}{ll}0,& i\ne j\\ 1,& i=j\end{array},(i,j\le m)$$

$$A\overrightarrow{v_i}=\overrightarrow{u_i}\sqrt{{\lambda }_i},(i,j\le k)$$

所以有，
$$A(\overrightarrow{v_1},\overrightarrow{v_1},...,\overrightarrow{v_n})$$$$=(\overrightarrow{u_1},\overrightarrow{u_2},...,\overrightarrow{u_m})\left[\begin{array}{cccccccc}& \sqrt{{\lambda }_1}& & & & & & \\ & & \sqrt{{\lambda }_2}& & & & & \\ & & & .& & & & \\ & & & & \sqrt{{\lambda }_k}& & & \\ & & & & & 0& & \\ & & & & & & .& \\ & & & & & & & 0\end{array}\right]$$$$=U\Sigma$$

其中$\Sigma$为m*n的矩阵。又因为，$[\overrightarrow{v_1},\overrightarrow{v_1},...,\overrightarrow{v_n}]$ 是正交矩阵,所以必然有$${[\overrightarrow{v_1},\overrightarrow{v_1},...,\overrightarrow{v_n}]}^{-1}={[\overrightarrow{v_1},\overrightarrow{v_1},...,\overrightarrow{v_n}]}^T$$

所以，$$A=(\overrightarrow{u_1},\overrightarrow{u_2},...,\overrightarrow{u_m})\left[\begin{array}{cccccccc}& \sqrt{{\lambda }_1}& & & & & & \\ & & \sqrt{{\lambda }_2}& & & & & \\ & & & .& & & & \\ & & & & \sqrt{{\lambda }_k}& & & \\ & & & & & 0& & \\ & & & & & & .& \\ & & & & & & & 0\end{array}\right]{[\overrightarrow{v_1},\overrightarrow{v_1},...,\overrightarrow{v_n}]}^{-1}$$

即，$$A=(\overrightarrow{u_1},\overrightarrow{u_2},...,\overrightarrow{u_m})\left[\begin{array}{cccccccc}& \sqrt{{\lambda }_1}& & & & & & \\ & & \sqrt{{\lambda }_2}& & & & & \\ & & & .& & & & \\ & & & & \sqrt{{\lambda }_k}& & & \\ & & & & & 0& & \\ & & & & & & .& \\ & & & & & & & 0\end{array}\right]{[\overrightarrow{v_1},\overrightarrow{v_1},...,\overrightarrow{v_n}]}^T$$

记作，$$A=U\Sigma V^T$$
U的规格：mXm, $\Sigma$ 规格:mXn, V规格： nXn

补充

证明矩阵U的列向量是$A{A}^T$的单位特征向量
$$A{A}^T\overrightarrow{u_i}=A{A}^T\frac{A\overrightarrow{v_i}}{\sqrt{{\lambda }_i}}=A\frac{A^{T}A\overrightarrow{v_i}}{\sqrt{{\lambda }_i}}=A\frac{{\lambda }_i\overrightarrow{v_i}}{\sqrt{{\lambda }_i}}={\lambda }_i\frac{A\overrightarrow{v_i}}{\sqrt{{\lambda }_i}}={\lambda }_i\overrightarrow{u_i}$$

即，$$A{A}^T\overrightarrow{u_i}={\lambda }_i\overrightarrow{u_i}$$

又因为，$$\overrightarrow{u_i}\cdot \overrightarrow{u_i}=1$$

所以，$\overrightarrow{u_i}$是$A{A}^T$的单位特征向量。

再次注意，$\vec{v}$和$\vec{u}$之间的直接关系，并利用该关系证明矩阵U的列向量是$A{A}^T$的单位特征向量，证明如下$$A^{T}A\overrightarrow{v_i}={\lambda }_i\overrightarrow{v_i}$$$$A{A}^{T}A\overrightarrow{v_i}={\lambda }_{i}A\overrightarrow{v_i}$$因为$\vec{v}$和$\vec{u}$之间的直接关系$A\overrightarrow{v_i}=\sqrt{{\lambda }_i}\overrightarrow{u_i}={\sigma }_i\overrightarrow{u_i}$，进而$$A{A}^T{\sigma }_i\overrightarrow{u_i}={\lambda }_i{\sigma }_i\overrightarrow{u_i}$$即，$$A{A}^T={\lambda }_i\vec{u}$$证毕。