矩阵论（四）：矩阵分解—从Schur分解、特征值分解EVD到奇异值分解SVD（下）

矩阵论专栏：专栏（文章按照顺序排序）

Schur分解、特征值分解、奇异值分解是三种联系十分紧密的矩阵分解，它们的关系是$Schur\to EVD\to SVD$，也就是说由Schur分解可以推导出EVD，再推导出SVD。本篇博客和上篇博客遵循主线$Schur\to EVD\to SVD$，且对各个矩阵分解的相关理论应用（能够解决矩阵论中的哪些问题）进行介绍。

本篇博客讨论特征值分解和奇异值分解的相关内容。上篇博客（链接）讨论的是Schur分解以及利用Schur分解能够解决的若干问题。注意，引理1-5以及定理1-15在上篇博客中。

本文内容以线性代数知识为基础（主要是特征值和相似的知识）：
矩阵论（零）：线性代数基础知识整理（1）——逆矩阵、初等变换、满秩分解
矩阵论（零）：线性代数基础知识整理（2）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（3）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（4）——线性空间与线性变换
矩阵论（零）：线性代数基础知识整理（5）——特征值与相似

• 特征值分解EVD
  • 正规矩阵与EVD
  • EVD得到矩阵的特征值和特征向量
  • EVD的构造方法
  • EVD用于求矩阵的逼近
  • 实正规矩阵的正交相似拟对角化（拓展内容）
• 奇异值分解SVD
  • SVD的存在性定理
  • SVD的构造方法（简介）
  • SVD的性质
  • SVD用于求矩阵的逼近
  • SVD在推荐系统中的应用

---

特征值分解EVD（正规矩阵）

与Schur分解不同的是，特征值分解（又叫谱分解）要求将方阵酋对角化，这比schur分解的要求更高（Schur分解只是酋相似上三角化）。实际上，只有一类特殊的方阵才能进行特征值分解，这类特殊的方阵是正规矩阵。下面介绍特征值分解EVD。

• 定义（谱分解）：设有n阶方阵A。若存在n阶酋矩阵U和对角矩阵$\Sigma$使得$A=U\Sigma U^H$，则称$A=U\Sigma U^H$是A的一个谱分解

• 定义（正规矩阵）：若n阶方阵A满足$A^{H}A=A{A}^H$，则称A是正规矩阵
  【注1】容易验证Hermite矩阵（共轭对称矩阵）、反Hermite矩阵、实对称矩阵、实反对称矩阵、酋矩阵、实正交矩阵等都是正规矩阵。正规矩阵实际上是内积空间上的正规变换在给定标准正交基下的矩阵，具体见链接。
  【注2】这里给出正规矩阵$A$的一个性质：$N(A)=N(A^H),R(A)=R(A^H)$，其中$N(\bullet ),R(\bullet )$分别表示零空间和列空间。虽然这个性质本文后面没有用到，但却是正规矩阵的一个常见性质。证明很简单：$Ax=0⟹x^H{A}^{H}Ax=0⟹x^{H}A{A}^{H}x=0⟹||A^{H}x|{|}_2^2=0⟹A^{H}x=0$，因此$N(A)=N(A^H)$，两端取正交补就有$R(A^H)=R(A)$。

• 引理6：任意一个上三角矩阵S，若S是正规矩阵，则S必然是对角矩阵
  证明：（对S的阶数n进行归纳）
  当n=1时，S本身就是对角矩阵。假定结论对n-1成立，现证明结论对n也成立。设$S=\left[\begin{array}{cc}{S}_1& b\\ 0^H& a\end{array}\right]$，其中a是一个标量，$S_1$是一个n-1阶上三角阵。计算可得$S^{H}S=\left[\begin{array}{cc}{S}_1^H{S}_1& S_1^{H}b\\ b^H{S}_1& b^{H}b+\bar{a}a\end{array}\right]$，$S{S}^H=\left[\begin{array}{cc}{S}_1{S}_1^H+b{b}^H& \bar{a}b\\ a{b}^H& a\bar{a}\end{array}\right]$，由$S^{H}S=S{S}^H$得$b^{H}b+\bar{a}a=a\bar{a}$，故$b^{H}b=||b|{|}^2=0$，故$b=0$，故$S_1{S}_1^H+b{b}^H=S_1{S}_1^H=S_1^H{S}_1$，即$S_1$是正规矩阵，由归纳假设知$S_1$是对角矩阵。则$S=\left[\begin{array}{cc}{S}_1& 0\\ 0^H& a\end{array}\right]$是对角矩阵，得证。

• 定理16：n阶复方阵A酋相似于一个对角矩阵的充要条件为A是正规矩阵
  证明：
  必要性：若A酋相似于一个对角矩阵，即存在酋矩阵U和对角矩阵$\Sigma$使得$A=U\Sigma U^H$，则$A^{H}A=U\overline{\Sigma }{U}^{H}U\Sigma U^H=U\overline{\Sigma }\Sigma U^H$，$A{A}^H=U\Sigma U^{H}U\overline{\Sigma }{U}^H=U\Sigma \overline{\Sigma }{U}^H$，注意到$\overline{\Sigma }\Sigma =\Sigma \overline{\Sigma }$，故$A^{H}A=A{A}^H$。
  充分性：设A的Schur分解为$A=PT{P}^H$，其中P是酋矩阵，T是上三角矩阵。由A是正规矩阵，将A代入$A^{H}A=A{A}^H$得$P{T}^{H}T{P}^H=PT{T}^H{P}^H$，故$T^{H}T=T{T}^H$，即上三角矩阵T是正规矩阵。于是由引理6知T是对角矩阵，故A酋相似于对角矩阵T。证毕。

EVD得到矩阵的特征值和特征向量

定理16说明仅正规矩阵可进行谱分解。在探讨谱分解有何用处之前，我们先认识一下谱分解究竟是怎样的，看看分解出来的对角矩阵是什么，以及那个酋矩阵到底是什么：

• 定理17：设正规矩阵A的谱分解为$A=U\Sigma U^H$，则$\lambda$是A的特征值的充要条件为$\lambda$在$\Sigma$的主对角线上，且A的每个特征值的代数重数等于其在$\Sigma$的主对角线上出现的次数
• 定理18：设n阶正规矩阵A的谱分解为$A=U\Sigma U^H$，且$\Sigma =diag({\lambda }_1,...,{\lambda }_n)$，$U=\left[\begin{array}{ccc}{u}_1& \cdots & u_n\end{array}\right]$，则$u_i$是A对应于特征值${\lambda }_i$的特征向量，且$u_1,...,u_n$是$C^n$的标准正交基
  证明：由$A=U\Sigma U^H$得$AU=U\Sigma$，故$A{u}_i={\lambda }_i{u}_i,i=1,...,n$，即$u_i$是A对应于特征值${\lambda }_i$的特征向量。因为U是酋矩阵，所以$u_1,...,u_n$是$C^n$的标准正交基。
  【推论】n阶正规矩阵有n个相互正交的特征向量
  【推论】n阶正规矩阵的任意特征值的几何重数与代数重数相等

上面两个定理的结论解释了“特征值分解”这个名称的来源，之所以称之为特征值分解，是因为其既分解出了特征值，还分解出了对应的特征向量。特征值分解还表明，正规矩阵的特征值和特征向量包含了原矩阵的“全部信息”，因此我们可以通过一定的方法利用特征值和特征向量重构出原矩阵。

EVD的构造方法

实际上，我们已经知道U的列向量组是A的单位正交特征向量组，那么怎么求出A的n个单位正交的特征向量呢？我们容易保证属于同一特征值的特征向量间的正交性（只要求出该特征值对应的特征子空间的标准正交基即可），但是，如何保证不同特征值的特征向量间的正交性呢？实际上，正规矩阵本身的性质就保证了这一点。下面我们就来看看正规矩阵的性质：

• 定理19：设A是正规矩阵，则$A$和$A^H$的特征值互为共轭，且$A$对应于$\lambda$的特征子空间$N(\lambda I-A)$与$A^H$对应于$\bar{\lambda }$的特征子空间$N(\bar{\lambda }I-A^H)$成立$N(\lambda I-A)=N(\bar{\lambda }I-A^H)$
  证明：
  将A谱分解得$A=U\Sigma U^H$，则$A^H=U\overline{\Sigma }{U}^H$。因为$\Sigma$和$\overline{\Sigma }$主对角线上对应的元素互为共轭，所以A和$A^H$的特征值互为共轭。又$AU=U\Sigma$，$A^{H}U=U\overline{\Sigma }$，且U的列向量组是正交向量组，所以$A$的特征子空间$N(\lambda I-A)$和$A^H$的特征子空间$N(\bar{\lambda }I-A^H)$有同一组正交基，故结论成立。
• 定理20：设A是正规矩阵，则A对应于不同特征值的特征向量是正交的
  证明：
  设$\lambda$和$\mu$是A的两个不同特征值，$x$和$y$分别是A的对应于$\lambda$和$\mu$的特征向量，即$\lambda \ne \mu ,Ax=\lambda x,Ay=\mu y,x\ne 0,y\ne 0$。由定理19知$\bar{\mu }$是$A^H$的特征值，且由$y\in N(\mu I-A),N(\mu I-A)=N(\bar{\mu }I-A^H)$知$y\in N(\bar{\mu }I-A^H)$，故$A^{H}y=\bar{\mu }y$。$$\bar{\mu }{x}^{H}y=x^H(\bar{\mu }y)=x^H{A}^{H}y=(Ax{)}^{H}y=\bar{\lambda }{x}^{H}y$$故$(\bar{\mu }-\bar{\lambda })x^{H}y=0$，由$\lambda \ne \mu$知$x^{H}y=0$，即$x$和$y$是正交的，得证。

上面的定理说明只要求出A的每个特征值的特征子空间的标准正交基，那么所有的这些基向量一定两两正交。于是，我们有如下方法来求正规矩阵的特征值分解：


注意，之所以我们构造出的矩阵U是酋矩阵，是因为U的列向量组是单位正交的（其中对应于同一特征值的特征向量两两正交，对应于不同特征值的特征向量也两两正交）。而这样的$U$一定可以保证构造出了$A$的一个谱分解：
因为 U H A U = [ u 11 H . . . u s r s H ] [ A u 11 . . . A u s r s ] = [ u 11 H . . . u s r s H ] [ λ 1 u 11 . . . λ s u s r s ] = [ λ 1 I r 1 ⋱ λ s I r s ] U^HAU=\begin{bmatrix}u^H_{11}\\...\\u^H_{s_{r_s}}\end{bmatrix}\begin{bmatrix}Au_{11}&...&Au_{s_{r_s}}\end{bmatrix}\\=\begin{bmatrix}u^H_{11}\\...\\u^H_{s_{r_s}}\end{bmatrix}\begin{bmatrix}\lambda_1u_{11}&...&\lambda_su_{s_{r_s}}\end{bmatrix}=\begin{bmatrix}\lambda_1I_{r_1}&&\\&\ddots&\\&&\lambda_sI_{r_s}\end{bmatrix} UHAU=⎣⎡​u11H​...usrs​​H​​⎦⎤​[Au11​​...​Ausrs​​​​]=⎣⎡​u11H​...usrs​​H​​⎦⎤​[