线代：1.8SVD分解的证明

本课程来自 深度之眼，部分截图来自课程视频。
【第一章 线性代数】1.8SVD分解的证明
在线LaTeX公式编辑器

任务详解：

这节课主要介绍了矩阵的奇异值分解(SVD分解)，SVD分解的应用，多元线性回归等知识点。
掌握目标：
了解svd分解证明过程，以及svd分解的算法流程

之前的课程描述的是方阵，对称阵的处理，对于一般矩阵是怎么化简的呢，就是下面的SVD分解的内容。
PS：用H或者T都是表示矩阵的转置，一个是复矩阵，一个实矩阵的写法，下面讨论的都是实矩阵，但参考书上针对复矩阵，所以用的H ，这里我们认为两个木有区别。
奇异值分解的证明过程有点复杂，虽然编程序的时候可以做调包侠，但是理解其来龙去脉是很有必要的。

1.矩阵的奇异值分解（SVD分解）

为了论述矩阵的奇异值与奇异值分解，需要下面的结论：
（1）设$A\in C_r^{m\times n}(r>0)$，（这里m和n代表矩阵的行列，r是矩阵的秩）则$A^{H}A$是Hermite矩阵，（如果矩阵A不包含复数，那么$A^H=A^T$）且其特征值均是非负实数；

这里小小证明一下（本来是上节证明的内容，偷懒没写，现在补上）：
$A^{T}A$写为：$x^T{A}^{T}Ax=(Ax{)}^{T}Ax$
这里x是向量，A是矩阵，那么Ax就是一个向量，令$z=Ax$，上面就$=z^{T}z=||z|{|}^2\ge 0$
因此可以断定$A^{T}A$是半正定的，他的特征值${\lambda }_i\ge 0$

（2）$rank(A^{H}A)=rank(A)$；
证明：这里只要证明两者的解空间是一样的即可，因为上节讲解空间的时候有下面的结论
$$R(A)+N(A)=n$$
解空间N(A)一样，那么秩R(A)也就一样了，也就是要证明
$A^{T}Ax=0$和$Ax=0$的解一样，就是x是前者的解也是后者的解。
分两种情况看：
第一种：x=0的时候，肯定是两个方程的解
第二种：对于$\forall x\ne 0$，有：
$A^{T}Ax=0$，要把$A^T$去掉，不能两边同时乘$A^T$的逆矩阵，因为$A^T$不一定有逆矩阵。所以我们方程两边同时乘$x^T$，得：$x^T{A}^{T}Ax=0$，即$(Ax{)}^{T}Ax=0$，这里，由于x是向量，A是矩阵，Ax是一个向量$x^T{A}^{T}Ax$相当于求Ax的模长，模长等于0就意味着向量Ax中的每一项都是0，也就是$A^{T}Ax=0$与$Ax=0$解是一样的（解空间一样），因此秩也就一样。
（3）设$A\in C_r^{m\times n}$，则$A=0$的充要条件是$A^{H}A=0$.

奇异值的定义

定义4.11：$A\in C_r^{m\times n}(r>0)$，$A^{H}A$的特征值为${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_r>{\lambda }_{r+1}=\dots ={\lambda }_n=0$则称${\sigma }_i=\sqrt{{\lambda }_i}(i=1,2,\dots ,n)$为A的奇异值；当A为零矩阵时，它的奇异值都是0。
说人话：根据定义可以得到$A^{H}A$的特征值有r个是大于0的，其他都是等于0的。于是有下面定理：

---------------------------------------------------------割你没商量------------------------------------------------------
定理4.16：设$A\in C_r^{m\times n}(r>0)$，则存在m阶正交矩阵U和n阶正交矩阵V，使得
$$U^{H}AV=\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]$$
其中$\Sigma =diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_r)$，而。${\sigma }_i(i=1,2,\dots ,r)$为矩阵A的全部非零奇异值。注意这里的矩阵shape，$U^H$是n×m的，A是m×n，V是n×n，$U^{H}AV$是m×n的。

证明

证明：$A^{H}A$(写成$A^{T}A$是一样的，原因之前有讲，不啰嗦了)是对称阵（ $(A^{T}A{)}^T=A^T(A^T{)}^T=A^{T}A$，就是满足 $A^T=A$），所以可以满足对角化的操作（一个对称阵A，可以找到正交方阵P，使得 $P^{T}AP=对角阵$，当然由于P是正交方阵，所以有$P^T=P^{-1}$，故 $P^{-1}AP=对角阵$也成立），所以可以有下面的等式（为了和前面的不一样，这里就不用P，用V来表示咯，为什么，因为定理里面用的是V撒，V当然是正交矩阵了，复矩阵就叫酉矩阵）：
$$V^H(A^{H}A)V=\left[\begin{array}{cccc}{\lambda }_1& & & \\ & \ddots & & \\ & & & {\lambda }_n\end{array}\right]=\left[\begin{array}{cc}{\Sigma }^2& 0\\ 0& 0\end{array}\right]\text{\hspace{1em}(1)}$$
根据奇异值的定理可知，从${\lambda }_1,...,{\lambda }_n$这些个特征值中，有一些个是大于0，一些个是等于0的，即：${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_r>{\lambda }_{r+1}=\dots ={\lambda }_n=0$，上式中的$${\Sigma }^2=\left[\begin{array}{cccc}{\sigma }_1^2& & & \\ & \ddots & & \\ & & & {\sigma }_r^2\end{array}\right]=\left[\begin{array}{cccc}{\lambda }_1& & & \\ & \ddots & & \\ & & & {\lambda }_r\end{array}\right]$$
$\Sigma$的shape是r*r的。
接下来将n×n的方阵V分两块：$V=[V_1⋮V_2]$，其中$V_1\in C_r^{n\times r},V_2\in C_r^{n\times (n-r)}$
等式（1）两边同时乘上V，由于V是正交$V{V}^H=E$，改写为：
$$A^{H}AV=V\left[\begin{array}{cc}{\Sigma }^2& 0\\ 0& 0\end{array}\right]\text{\hspace{1em}(2)}$$
由于$V=[V_1⋮V_2]$，等式2可以写为：
$$A^{H}A[V_1⋮V_2]=[V_1⋮V_2]\left[\begin{array}{cc}{\Sigma }^2& 0\\ 0& 0\end{array}\right]$$
两边展开：
$$[A^{H}A{V}_1⋮A^{H}A{V}_2]=[V_1{\Sigma }^2⋮0]\text{\hspace{1em}(3)}$$
等式（3）中$⋮$两边的东西都应该对应相等，所以有：
$$A^{H}A{V}_1=V_1{\Sigma }^2\text{\hspace{1em}(4)}$$
$$A^{H}A{V}_2=0\text{\hspace{1em}(5)}$$
等式（4）左右两边分别乘上$V_1^H$得：
$$V_1^H{A}^{H}A{V}_1={\Sigma }^2\text{\hspace{1em}(6)}$$
等式（6）左右两边的左右两边同时乘上${\Sigma }^{-1}$
$${\Sigma }^{-1}{V}_1^H{A}^{H}A{V}_1{\Sigma }^{-1}={\Sigma }^{-1}{\Sigma }^2{\Sigma }^{-1}\text{\hspace{1em}(7)}$$
这里$\Sigma =\left[\begin{array}{cccc}{\sigma }_1& & & \\ & \ddots & & \\ & & & {\sigma }_r\end{array}\right]$是对角阵，所以${\Sigma }^{-1}=\left[\begin{array}{cccc}{\sigma }_1^{-1}& & & \\ & \ddots & & \\ & & & {\sigma }_r^{-1}\end{array}\right]$也是是对角阵，对角阵的转置和它本身一样（$A^T=A$），所以:
$${\Sigma }^{-1}=({\Sigma }^{-1}{)}^T=({\Sigma }^{-1}{)}^H\text{\hspace{1em}(8)}$$
根据公式（8），等式（7）可以写为：
$$({\Sigma }^{-1}{)}^T{V}_1^H{A}^{H}A{V}_1{\Sigma }^{-1}={\Sigma }^{-1}{\Sigma }^2{\Sigma }^{-1}$$
把前面几个的转置提取到括号外（位置要变化），${\Sigma }^{-1}{\Sigma }^2{\Sigma }^{-1}=E$,这里写为$I_r$（r是维度），得：
$$(A{V}_1{\Sigma }^{-1}{)}^T(A{V}_1{\Sigma }^{-1})=I_r\text{\hspace{1em}(9)}$$
等式（5）左右两边分别乘上$V_2^H$得：
$$V_2^H{A}^{H}A{V}_2=0$$
$$(A{V}_2{)}^{H}A{V}_2=0\text{\hspace{1em}(10)}$$
等式（9）可以看做是一个矩阵($A{V}_2$)的转置乘以矩阵本身等于0的形式。根据开篇的结论三（设$A\in C_r^{m\times n}$，则$A=0$的充要条件是$A^{H}A=0$.）可知：
$$A{V}_2=0\text{\hspace{1em}(11)}$$
到这个地方，我们分别得到了两个等式（9）（11）。
对于等式（9），令$U_1=A{V}_1{\Sigma }^{-1}$，则有：
$$U_1^H{U}_1=I_r\text{\hspace{1em}(12)}$$
再次看shape，A是m×n，$V_1$是n×r，${\Sigma }^{-1}$是r×r的，所以$U_1$是m×r的。如果记$U_1$是由r个向量$u_1,u_2,...,u_r$构成，上式（12）可以写成：
$$U_1^H{U}_1=\left[\begin{array}{c}{u}_1^T\\ ⋮\\ u_r^T\end{array}\right]\left[\begin{array}{ccc}{u}_1& \cdots & u_r\end{array}\right]=I_r\text{\hspace{1em}(13)}$$
等式（13）中的左边展开后的每一项$u_i^T{u}_j$满足：
$$\{\begin{array}{c}{u}_i^T{u}_j=1i=j,\\ u_i^T{u}_j=0i\ne j\end{array}$$
因此说构成的$U_1$的r个向量是两两正交的单位向量。由于$U_1$的shape是m×r，这r个向量$u_i\in {\Re }^m$（说人话：r是m维的列向量），这里可以根据定理，直接把r维向量扩充到m维上。
---------------------------------------------------------割你没商量------------------------------------------------------
定理可视化实例补充：
二维向量$\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]$可以扩充为三维向量：$\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$
---------------------------------------------------------割你没商量------------------------------------------------------
$U_1$扩充为$C^m$（说人话：m维）的标准正交基，把后来扩展的向量记为：$u_{r+1},...,u_m$，并构造成矩阵：$U_2=(u_{r+1},...,u_m)$，则：
$$U=[U_1⋮U_2]=(u_1,u_2,\cdots ,u_r,u_{r+1},\cdots ,u_m)$$
U是m阶酉（正交）矩阵，且有：
$$U_1^H{U}_1=I_r,U_2^H{U}_1=0\text{\hspace{1em}(15)}$$

下面U构造好后，就可以开始验证要证明的定理$U^{H}AV$啦，因为$V=[V_1⋮V_2]$：
$$U^{H}AV=U^H[A{V}_1⋮A{V}_2]\text{\hspace{1em}(14)}$$
由$U=[U_1⋮U_2]$可以知道：$U^H=\left[\begin{array}{c}{U}_1^H\\ U_2^H\end{array}\right]$；
由$U_1$的设定$U_1=A{V}_1{\Sigma }^{-1}$，两边的右边同时乘以$\Sigma$，得$U_1\Sigma =A{V}_1$；
由等式（11）；
以上三个东西带入等式（14）
$$U^{H}AV=\left[\begin{array}{c}{U}_1^H\\ U_2^H\end{array}\right][U_1\Sigma ⋮0]=\left[\begin{array}{cc}{U}_1^H{U}_1\Sigma & 0\\ U_2^H{U}_1\Sigma & 0\end{array}\right]$$
把等式（15）带入
$$U^{H}AV=\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]$$
到这里证明就好了，但是上面的等式还可以在等式的两边左右分别乘以$U,V^H$。
$$U{U}^{H}AV{V}^H=U\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]V^H$$
单位阵退散后变成：
$$A=U\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]V^H$$

例子

求矩阵$A=\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\\ 0& 0& 0\end{array}\right]$的奇异值分解。
解：$B=A^{T}A=\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\\ 1& 1& 2\end{array}\right]$的特征值是${\lambda }_1=3,{\lambda }_2=1,{\lambda }_3=0$，对应的特征向量依次为：
$${\xi }_1=\left[\begin{array}{c}1\\ 1\\ 2\end{array}\right],{\xi }_2=\left[\begin{array}{c}1\\ -1\\ 0\end{array}\right],{\xi }_1=\left[\begin{array}{c}1\\ 1\\ -1\end{array}\right]$$
$$\Sigma =\left[\begin{array}{cc}\sqrt{3}& 0\\ 0& 1\end{array}\right]$$
$A^{T}A$是对称矩阵，因此其特征向量是两两正交的，把上面的三个$\xi$除以模长，得到
$$V=\left[\begin{array}{ccc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{2}{\sqrt{6}}& 0& -\frac{1}{\sqrt{3}}\end{array}\right]$$
根据公式$U_1=A{V}_1{\Sigma }^{-1}$计算$U_1$，其中A在题目已经给了，$V=[V_1⋮V_2]$，其中$V_1\in C_r^{n\times r},V_2\in C_r^{n\times (n-r)}$，由于R(A)=2，所以r=2，取V的前面两列，$V_1=\left[\begin{array}{cc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{2}}\\ \frac{2}{\sqrt{6}}& 0\end{array}\right]$，${\Sigma }^{-1}=\left[\begin{array}{cc}\frac{1}{\sqrt{3}}& 0\\ 0& 1\end{array}\right]$，最后算出来：
$$U_1=A{V}_1{\Sigma }^{-1}=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ 0& 0\end{array}\right]$$
这里只构造出$U_1$，还要弄$U_2$，使得$U=[U_1⋮U_2]$
取$U_2=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$
$U=[U_1⋮U_2]=\left[\begin{array}{ccc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}& 0\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0\\ 0& 0& 1\end{array}\right]$
则A的奇异值分解为：
$$A=U\left[\begin{array}{ccc}\sqrt{3}& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]V^T$$