第十五章15.2矩阵奇异值分解基本定理

本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。
公式输入请参考： 在线Latex公式

本章内容

对应书本章节	主要学习内容	习目标
矩阵奇异值分解基本定理	构造法证明的3步骤	掌握矩阵奇异值分解过程
正交变换	正交补空间的性质	理解正交补空间的秩与相关运算
奇异值与特征向量的关系	正交特征向量的构造及对奇异值的影响	掌握奇异值的求法与数学性质
奇异值分解的案例运算	简单与复杂矩阵的奇异值分解简化法	理解奇异值分解的实际意义

奇异值分解基本定理

前提假设

设$A$为一$m\times n$实矩阵，$A\in R_{m\times n}$，则存在A的奇异值分解：
$$A=U\Sigma V^T$$
这里$m\ge n$，如果$m<n$则可以把矩阵进行转置：
$$\begin{gathered} A^T=U\Sigma V^T \\ A=V\Sigma U^T \end{gathered}$$
其中U与V分别是m阶与n阶正交矩阵，$\Sigma$是$m\times n$矩形对角矩阵，对角线元素均为非负实数，依次按降序排列。

证明

不妨设$m\ge n$，$m<n$时矩阵仍能化简为行满秩的形式，可类似证明。
1、确定V和$\Sigma$
由于A是$m\times n$实矩阵，则矩阵$A^{T}A$是n阶实对称矩阵。
特征值都是实数，存在n阶正交实矩阵V实现$A^{T}A$的对角化，使得$V^T(A^{T}A)V=D$成立
其中D是n阶对角矩阵，对角线元素依次为$A^{T}A$的特征值降序排列组成（对角线元素个数为k个，$k=rank(A^{T}A)$）。

---

上节内容：
合理排列正交矩阵V的列向量顺序，使得相似对角化后对应的的特征值依次降序排列。
分别计算特征值平方根，即为矩阵A的各奇异值。
$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$$
记矩阵A的秩为r，即rank(A)=r，那么矩阵$A^{T}A$的秩也是r。
$${\sigma }_i=\sqrt{{\lambda }_i},i=1,2,\cdots ,n$$
${\sigma }_i=$是矩阵分解中$\Sigma$对角线上的元素

---

验证特征值非负
设$\lambda$是$A^{T}A$的一个特征值，x是对应于$\lambda$的特征向量，则
$$||Ax|{|}^2=x^T{A}^{T}Ax=\lambda x^{T}x=\lambda ||x|{|}^2$$
因此推出：
$$\lambda =\frac{||Ax|{|}^2}{||x|{|}^2}\ge 0$$

---

$A^{T}A$是$n\times n$的实对称矩阵，故A的秩等于正特征值的数目，因此：
$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_r>0,{\lambda }_{r+1}={\lambda }_{r+2}=\cdots ={\lambda }_n=0$$
因此奇异值的大小关系为：
$${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0,{\sigma }_{r+1}={\sigma }_{r+2}=\cdots ={\sigma }_n=0$$
因此特征向量也可以分为两个部分，定义：
$$V_1=[v_1{v}_2\cdots v_r],V_2=[v_{r+1}{v}_{r+2}\cdots v_n]$$
其中$v_1{v}_2\cdots v_r$为$A^{T}A$的正特征值对应的特征向量，由于特征向量维数等于原矩阵的秩，故$v_{r+1}{v}_{r+2}\cdots v_n$为0特征值对应的特征向量，合并$V_1，V_2$为矩阵V：
$$V=[V_1{V}_2]$$
即得矩阵A奇异值分解中的n阶正交矩阵V。
记对角矩阵：
$${\Sigma }_1=\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right]$$
${\Sigma }_1$是r阶对角矩阵，其对角线元素依次降序排列：${\sigma }_1,\cdots ,{\sigma }_r$
因此拓展矩阵的维数得到$m\times n$矩形对角矩阵$\Sigma$可表示为：
$$\Sigma =\left[\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right]$$
即得矩阵A奇异值分解中的$m\times n$矩形对角矩阵
2、计算矩阵U
构造m阶正交实矩阵
记向量：
$$\begin{gathered} u_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,\cdots ,r \\ {U}_1=[u_1,u_2,\cdots ,u_r] \end{gathered}$$
则有
$$A{V}_1=U_1{\Sigma }_1$$
$U_1$的列向量可视为一组标准正交基，因为：
记 { u r + 1 , u r + 2 , ⋯   , u m } \{u_{r+1},u_{r+2},\cdots,u_m\} {ur+1​,ur+2​,⋯,um​}为A的正交线性空间$N(A^T)$的一组标准正交基（使用施密特正交扩展），若记
$$U_2=[u_{r+1},u_{r+2},\cdots ,u_m]$$
则
$$U=[U_1{U}_2]$$
$u_1,u_2,\cdots ,u_m$构成了$R^m$的一组标准正交基。因此U为m阶正交矩阵。
U即为矩阵A奇异值分解中的m阶正交矩阵。
3、证明$U\Sigma V^T=A$
由前述结论，可得矩阵乘积：
$$\begin{gathered} U\Sigma V^T=[U_1{U}_2]\left[\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{c}{v}_1^T\\ v_k^T\end{array}\right] \\ =U_1{\Sigma }_1{V}_1^T \\ =A_1{V}_1{V}_1^T \\ =A \end{gathered}$$

例题

上面理论部分感觉推得有点生硬，具体还是去看下数学基础部分：https://blog.csdn.net/oldmao_2001/article/details/103614310
下面看例子
试对下面5×4矩阵A进行奇异值分解
$$A=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& 0& 4\\ 0& 3& 0& 0\\ 0& 0& 0& 0\\ 2& 0& 0& 0\end{array}\right]$$
解：
$B=A^{T}A=\left[\begin{array}{cccc}5& 0& 0& 0\\ 0& 9& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 16\end{array}\right]$的特征值从大到小是4,3,$\sqrt{5}$,0，对应的特征向量分别是：
$$\left[\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right],\left[\begin{array}{c}0\\ 1\\ 0\\ 0\end{array}\right],\left[\begin{array}{c}1\\ 0\\ 0\\ 0\end{array}\right],\left[\begin{array}{c}0\\ 0\\ 1\\ 0\end{array}\right]$$
后面就是求${\Sigma }^{-1}$，然后带公式求U，由于构造正交矩阵不唯一，结果也不唯一。