【线性代数】1.8SVD分解的证明

0.准备

为了论述矩阵的奇异值与奇异值分解，需要下面的结论：
（1）设$A\in C_r^{m\times n}(r>0)$，则$A^{H}A$是Hermite矩阵，（如果矩阵$A$不包含复数，那么$A^H=A^T$）且其特征值均是非负实数；
（2）$rank\left(A^{H}A\right)=rank\left(A\right)$；
（3）设$A\in C^{m\times n}$，则$A=O$的充要条件是$A^{H}A=O$；

证明：
（1）设：$A^{T}Ax=\lambda x(x\ne 0)$，则$x^T{A}^{T}Ax=\lambda x^{T}x$，即$${\Vert Ax\Vert }^2=\lambda {\Vert x\Vert }^2,$$故$\lambda ⩾0$，同理$A^{T}A$的特征值也全是非负实数.
（2）证明方程组$A^{H}Ax=0(1)$与$Ax=0(2)$同解
   如果$\alpha$是(2)的解，则$A\alpha =0$，显然有$A^{T}Ax=0$，即$\alpha$是(1)的解，故(2)的解全是(1)的解.
   若$\alpha$是(1)的解，即$A^{T}A\alpha =0$，那么${\alpha }^T{A}^{T}A\alpha =0$，即${\left(A\alpha \right)}^T\left(A\alpha \right)=0$.从而${\Vert A\alpha \Vert }^2=0$，故$A\alpha =0$.所以$\alpha$必是(2)的解，即 (1)的解全是(2)的解.
   综上所述，方程组(1)与(2)同解，即$rank\left(A^{H}A\right)=rank\left(A\right)$.
（3）充分性：$A=O\Rightarrow A^{T}A=O$，成立.
   必要性：将$A$写成列向量形式，$A=({\alpha }_1,{\alpha }_2,{\alpha }_3,\cdots ,{\alpha }_n)$，则
   $A^{T}A=\left[\begin{array}{c}{\alpha }_1^T\\ {\alpha }_2^T\\ {\alpha }_3^T\\ ⋮\\ {\alpha }_n^T\end{array}\right]({\alpha }_1,{\alpha }_2,{\alpha }_3,\cdots ,{\alpha }_n)=O\Rightarrow {\alpha }_i^T{\alpha }_i=0\Rightarrow {\alpha }_i$为零向量，因此矩阵$A$为零矩阵.

1.奇异值

  设$A\in C_r^{m\times n}(r>0)$，$A^{H}A$的特征值为$${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_{r>}{\lambda }_{r+1}=\cdots ={\lambda }_n=0$$则称${\sigma }_i=\sqrt{{\lambda }_i}(i=1,2,\cdots ,n)$为$A$的奇异值；当$A$为零矩阵时，它的奇异值都是0.

2.SVD分解

设$A\in C_r^{m\times n}(r>0)$，则存在$m$阶正交矩阵$U$和$n$阶正交矩阵$V$，满足$$\mathbf{A}=\mathbf{U}\left[\begin{array}{cccc}{\sigma }_1& & & \\ & \ddots & & \\ & & {\sigma }_r& \\ & & & O\end{array}\right]{\mathbf{V}}^{\mathbf{T}}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathbf{T}}={\sigma }_1{u}_1{v}_1^T+\cdots +{\sigma }_r{u}_r{v}_r^T$$
或$${\mathbf{U}}^{\mathbf{T}}\mathbf{A}\mathbf{V}=\left[\begin{array}{cc}\mathbf{\Sigma }& \mathbf{O}\\ \mathbf{O}& \mathbf{O}\end{array}\right]$$
其中