线性代数学习笔记11-2：总复习Part2（相似对角化、对称矩阵、奇异值分解SVD）

下面的一系列分解，涉及了线性代数中的各个重要知识点：

关于求解方程组的分解：

• Ch1[矩阵乘法角度] 矩阵$\mathbf{A}$=列向量矩阵$\mathbf{C}$和行向量矩阵$\mathbf{R}$的乘积
• Ch2[消元解方程组] LU分解
• Ch3[施密特正交化] QR分解：将列向量线性无关的矩阵$\mathbf{A}$，转为正交矩阵$\mathbf{Q}$，且$\mathbf{R}$必为上三角阵

关于特征值/特征向量/奇异值的分解：

• Ch4[相似对角化] 得到特征值和特征向量后，矩阵$\mathbf{A}$相似于以特征值为对角元的对角阵$\mathbf{\Lambda }$
• Ch5[对称矩阵] 对称矩阵$\mathbf{S}$具有正交的特征向量，对角化得到$\mathbf{S}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$
• CH6[奇异值分解（“广义对角化”操作）] 任意矩阵可分解为$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$，其中$\mathbf{\Sigma }$中左上角的对角阵对应将行空间中的标准正交基映射到列空间的标准正交基（$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$，这类似于找出特征值和特征向量）；$\mathbf{\Sigma }$中其余部分为0元素，对应$\mathbf{A}$的零空间中的一组正交基

Ch4. 特征值、特征向、相似对角化、谱分解

特征值与特征向量

对于任意方阵$\mathbf{A}$，将其理解为线性变换，变换后有些向量的方向不被改变，即特征向量$\mathbf{A}{\mathbf{x}}_i={\lambda }_i{\mathbf{x}}_i$

特征向量的性质：

• ${\mathbf{A}}^{-1}\mathbf{x}=\frac{1}{\lambda }\mathbf{x}$，注意，若矩阵可逆，此处必有$\lambda \ne 0$（若$\lambda =0$则$\mathbf{A}$是降维变换，不可逆。或者说$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}=0$即存在零空间，则矩阵不满秩，不可逆）
• 矩阵$\mathbf{A}\mathbf{B}$和矩阵$\mathbf{B}\mathbf{A}$具有相同的非零特征值（但是注意，$\mathbf{A}\mathbf{B}$的特征值不等于$\mathbf{A}$特征值的$\times$$\mathbf{B}$的特征值，$\mathbf{A}+\mathbf{B}$的特征值不等于$\mathbf{A}$特征值的$+$$\mathbf{B}$的特征值，因为$\mathbf{A}$和$\mathbf{B}$两个矩阵的特征向量很可能不同）

证明：$\mathbf{B}\mathbf{A}=\mathbf{B}(\mathbf{A}\mathbf{B}){\mathbf{B}}^{-1}$，即$\mathbf{A}\mathbf{B}$相似于$\mathbf{B}\mathbf{A}$，特征值相同
当然，前提是$\mathbf{A}$和$\mathbf{B}$可逆，这就是为什么强调“非零特征值”（如果特征值取0，则不存在逆矩阵了）

引入特征向量的好处：

1. 容易计算矩阵的幂：${\mathbf{A}}^k\mathbf{x}={\lambda }^k\mathbf{x}$

计算差分方程${\mathbf{u}}_{k+1}=\mathbf{A}{\mathbf{u}}_k$的解${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0$时，
可以先拆分${\mathbf{u}}_0=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\dots +c_n{\mathbf{x}}_n$，则${\mathbf{A}}^k{\mathbf{u}}_0=c_1{\lambda }_1^k{\mathbf{x}}_1+c_2{\lambda }_2^k{\mathbf{x}}_2+\dots +c_n{\lambda }_n^k{\mathbf{x}}_n$

2. 容易计算矩阵的指数：$e^{\mathbf{A}t}\mathbf{x}=e^{\lambda t}\mathbf{x}$（ps. 这里的指数概念，根据级数来定义：
   $\left(I+At+\frac{1}{2}(At{)}^2+\cdots \right)\mathbf{x}=\left(1+\lambda t+\frac{1}{2}(\lambda t{)}^2+\cdots \right)\mathbf{x}$）

计算微分方程$\frac{d\mathbf{u}}{dt}=\mathbf{A}\mathbf{u}$的解$\mathbf{u}(\mathrm{t})=e^{\mathbf{A}t}\mathbf{u}(0)$时，
可以先拆分$\mathbf{u}(0)=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\dots +c_n{\mathbf{x}}_n$，则$e^{\mathbf{A}t}\mathbf{u}(0)=c_1{e}^{{\lambda }_{1}t}{\mathbf{x}}_1+c_2{e}^{{\lambda }_{2}t}{\mathbf{x}}_2+...+c_n{e}^{{\lambda }_{n}t}{\mathbf{x}}_n$

相似矩阵

相似矩阵$\mathbf{A}\sim \mathbf{B}$，满足$\mathbf{B}={\mathbf{M}}^{-1}\mathbf{A}\mathbf{M}$

注意，随着可逆矩阵$\mathbf{M}$取值不同，可以得到一系列的（无数个）相似矩阵，但它们是同一种变换在不同坐标系下的表现形式，它们的的特征值、迹、行列式完全相同（这些都是相似不变量）

验证：相似的矩阵，特征值相同
假设$\mathbf{B}\mathbf{x}=\lambda \mathbf{x}$，那么${\mathbf{M}}^{-1}\mathbf{A}\mathbf{M}\mathbf{x}=\lambda \mathbf{x}$，即$\mathbf{A}(\mathbf{M}\mathbf{x})=\lambda (\mathbf{M}\mathbf{x})$
$\mathbf{A}$的特征值仍为$\lambda$，特征向量为$\mathbf{M}\mathbf{x}$

由于相似矩阵有相同特征值，只要为$\mathbf{B}={\mathbf{M}}^{-1}\mathbf{A}\mathbf{M}$找出合适的$\mathbf{M}$，就能保证$\mathbf{A}$的相似矩阵$\mathbf{B}$为上三角矩阵/对角矩阵（特征值就位于对角线上），从而轻易地找出$\mathbf{A}$的特征值，这就是为什么需要相似对角化。

相似对角化

对于单纯矩阵$\mathbf{A}$，其特征向量满足$\mathbf{A}{\mathbf{x}}_i={\lambda }_i{\mathbf{x}}_i$，矩阵形式为$\mathbf{A}\mathbf{X}=\mathbf{X}\mathbf{\Lambda }$
如果有$n$个无关的特征向量（即$\mathbf{X}$可逆），则$\mathbf{A}$可被相似对角化为$\mathbf{A}=\mathbf{X}\mathbf{\Lambda }{\mathbf{X}}^{-1}$$$\mathbf{A}=\mathbf{X}\mathbf{\Lambda }{\mathbf{X}}^{-1}=\left[\begin{array}{llll}{\mathbf{v}}_1& {\mathbf{v}}_2& \cdots & {\mathbf{v}}_{\mathrm{n}}\end{array}\right]\left[\begin{array}{llll}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_{\mathrm{n}}\end{array}\right]\left[\begin{array}{c}{\mathbf{w}}_1^T\\ {\mathbf{w}}_2^T\\ ⋮\\ {\mathbf{w}}_{\mathrm{n}}^T\end{array}\right]$$

• 其中，$\mathbf{X}$矩阵的列对应$n$个线性无关特征向量，$\mathbf{\Lambda }$给出相应的特征值

相似对角化的应用：
首先，便于我们研究矩阵的幂：${\mathbf{A}}^n=\mathbf{X}{\mathbf{\Lambda }}^n{\mathbf{X}}^{-1}$（特征值变为${\lambda }^n$，特征向量不变）
推论：当$|\lambda |<1$，$n\to \infty$时$\lambda \to 0$，对应的那些特征向量“消失”，由此可以进一步研究差分方程${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0$的稳态问题

---

秩1矩阵是构造复杂矩阵的基石，同样可以从秩1矩阵的角度来理解上述的分解：

回顾之前内容：秩1矩阵只有一行/一列是线性无关的，对应了$\mathbf{A}=\mathbf{C}\mathbf{R}$中，$\mathbf{C}$和$\mathbf{R}$退化为列向量和行向量
此时，矩阵乘法理解为“列向量乘以行向量（外积）（而不是行向量乘以列向量），结果是秩1矩阵 $b_i{c}_i^{\ast }$

再次用“列向量乘以行向量=秩1矩阵”的观点来看相似对角化,则有$$\mathbf{A}=(\mathbf{X}\mathbf{\Lambda }){\mathbf{X}}^{-1}=\left[\begin{array}{llll}{\lambda }_1{\mathbf{v}}_1& {\lambda }_2{\mathbf{v}}_2& \cdots & {\lambda }_n{\mathbf{v}}_{\mathrm{n}}\end{array}\right]\left[\begin{array}{c}{\mathbf{w}}_1^T\\ {\mathbf{w}}_2^T\\ ⋮\\ {\mathbf{w}}_{\mathrm{n}}^T\end{array}\right]={\lambda }_1{\mathbf{v}}_1{\mathbf{w}}_1^T+...+{\lambda }_n{\mathbf{v}}_n{\mathbf{w}}_n^T$$
这正是矩阵的谱分解，其中每个秩1矩阵${\mathbf{A}}_i={\mathbf{v}}_i{\mathbf{w}}_i^T$都是幂等矩阵（原因：由${\mathbf{X}}^{-1}\mathbf{X}=\mathbf{I}$知${\mathbf{w}}^T\mathbf{v}=1$，故${\mathbf{A}}_i^2={\mathbf{A}}_i$）

注意，仅对于方阵有“特征值”的概念，对于矩形的矩阵，“特征值”推广为奇异值

Ch5. 对称矩阵与${\mathbf{A}}^T\mathbf{A}$

对称矩阵$\mathbf{S}$

对称矩阵$\mathbf{S}$的特征：

• 特征值为实数
• 拥有一套正交的特征向量
  这里隐含的关键点是：即使有些特征值重复，仍有足够数量的无关特征向量
  推论（谱定理）：对称矩阵的相似对角化结果为$\mathbf{S}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{-1}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$

由于特征向量正交，故$\mathbf{Q}$为正交矩阵，进一步导致了${\mathbf{Q}}^{-1}$可写成${\mathbf{Q}}^T$（标准正交基满足${\mathbf{Q}}^T\mathbf{Q}=\mathbf{I}$）

理解 [对称矩阵有实特征值]：

• 例如，$\mathbf{S}=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$
  这个变换效果是将x轴换到y轴，y轴换到x轴
  特征向量是两条斜向的“对角线”即$\left[\begin{array}{c}1\\ 1\end{array}\right]$和$\left[\begin{array}{c}1\\ -1\end{array}\right]$

• 相比之下，任何反对称矩阵都没有实特征向量/实特征值
  例如$\mathbf{A}=\left[\begin{array}{cc}0& 1\\ -1& 0\end{array}\right]$对应于90度旋转的变换，故特征值/特征向量都为虚数

---

再次用“列向量乘以行向量=秩1矩阵”的观点来看，有$$\mathbf{A}=(\mathbf{Q}\mathbf{\Lambda }){\mathbf{Q}}^{-1}=\left[\begin{array}{llll}{\lambda }_1{\mathbf{q}}_1& {\lambda }_2{\mathbf{q}}_2& \cdots & {\lambda }_n{\mathbf{q}}_{\mathrm{n}}\end{array}\right]\left[\begin{array}{c}{\mathbf{q}}_1^T\\ {\mathbf{q}}_2^T\\ ⋮\\ {\mathbf{q}}_{\mathrm{n}}^T\end{array}\right]={\lambda }_1{\mathbf{q}}_1{\mathbf{q}}_1^T+...+{\lambda }_n{\mathbf{q}}_n{\mathbf{q}}_n^T$$这正是谱定理，其中${\mathbf{q}}_i{\mathbf{q}}_i^T$为秩1矩阵

对称方阵${\mathbf{A}}^T\mathbf{A}$

对于任意的$\mathbf{A}$，${\mathbf{A}}^T\mathbf{A}$必为对称方阵：$({\mathbf{A}}^T\mathbf{A}{)}^T={\mathbf{A}}^T\mathbf{A}$，并且${\mathbf{A}}^T\mathbf{A}$至少为半正定矩阵（$\mathbf{A}$列满秩时则为正定的）

${\mathbf{A}}^T\mathbf{A}$同样具有半正定矩阵的所有性质

• 所有特征值$\lambda \ge 0$
• 对任意$\mathbf{x}$，${\mathbf{x}}^T({\mathbf{A}}^T\mathbf{A})\mathbf{x}\ge 0$

正定矩阵

对称矩阵具有实特征值和正交的特征向量；
正定矩阵是“最好的”一类对称矩阵，它们不仅是对称矩阵，还具有正实数特征值

下面的5个等价判据，满足任何一个，即为正定矩阵：

1. 原始定义：二次型（或者说“能量”）${\mathbf{x}}^T\mathbf{A}\mathbf{x}>0(\mathbf{x}\ne 0)$
2. 所有特征值为正实数，即$\lambda >0$
3. 矩阵左上角所有子矩阵（顺序主子是）的行列式全为正
4. 对矩阵消元后，所有主元pivot全为正实数
5. 正定矩阵$\mathbf{A}$可被分解为$\mathbf{A}={\mathbf{M}}^T\mathbf{M}$，其中$\mathbf{M}$列向量线性无关

ps. 正定/负定/半正定阵，都是在二次型部分引入的，谈论矩阵是“正定阵”的大前提：矩阵必须首先是一个实对称/复Hermite阵

推论：若$\mathbf{A}$和$\mathbf{B}$为正定矩阵，则

• ${\mathbf{A}}^{-1}$为正定矩阵，因为其特征值$1/\lambda$都为正实数
• $\mathbf{A}+\mathbf{B}$为正定矩阵，因为${\mathbf{x}}^T(\mathbf{A}+\mathbf{B})\mathbf{x}={\mathbf{x}}^T\mathbf{A}\mathbf{x}+{\mathbf{x}}^T\mathbf{B}\mathbf{x}>0(\mathbf{x}\ne 0)$
• ${\mathbf{Q}}^T{\mathbf{A}}^{-1}\mathbf{Q}$（$\mathbf{Q}$为正交阵，整个矩阵必为对称的）为正定矩阵
  理解1：${\mathbf{Q}}^T{\mathbf{A}}^{-1}\mathbf{Q}$与$\mathbf{A}$相似，特征值相同，都为正实数
  理解2：验证${\mathbf{x}}^T({\mathbf{Q}}^T{\mathbf{A}}^{-1}\mathbf{Q})\mathbf{x}=(\mathbf{Q}\mathbf{x}{)}^T\mathbf{A}(\mathbf{Q}\mathbf{x})>0(\mathbf{x}\ne 0)$

---

用“列向量乘以行向量=秩1矩阵”的观点来看，有（正定阵仍为对称阵，与对称阵的分解相同）$$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T={\lambda }_1{\mathbf{q}}_1{\mathbf{q}}_1^T+...+{\lambda }_n{\mathbf{q}}_n{\mathbf{q}}_n^T$$其中${\mathbf{q}}_i{\mathbf{q}}_i^T$为秩1矩阵

半正定矩阵

半正定矩阵(Positive Semi-Definite)是正定矩阵和负定矩阵的“边界”

半正定矩阵满足：

1. ${\mathbf{x}}^T\mathbf{A}\mathbf{x}\ge 0(\mathbf{x}\ne 0)$
2. 所有特征值为非负实数，即$\lambda \ge 0$（存在0特征值）
3. 行列式为0（不可逆/奇异矩阵）
4. 正定矩阵$\mathbf{A}$可被分解为$\mathbf{A}={\mathbf{M}}^T\mathbf{M}$，其中$\mathbf{M}$列向量可以线性

例如$\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]$为一个半正定矩阵，其特征值为$3,0,0$（因为矩阵秩为1，故只有一个非零特征值，其余两个特征值为0，根据迹=3可知，非零特征值为3）
另外，用“列向量乘以行向量=秩1矩阵”的观点来看，有$$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T={\lambda }_1{\mathbf{q}}_1{\mathbf{q}}_1^T+{\lambda }_2{\mathbf{q}}_2{\mathbf{q}}_2^T+{\lambda }_3{\mathbf{q}}_3{\mathbf{q}}_3^T$$此时${\lambda }_2={\lambda }_3=0$，只剩下第一项，即
$$\left[\begin{array}{lll}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]=3\left[\begin{array}{l}1/\sqrt{3}\\ 1/\sqrt{3}\\ 1/\sqrt{3}\end{array}\right][\begin{array}{lll}1/\sqrt{3}& 1/\sqrt{3}& 1/\sqrt{3}]\end{array}$$

Ch6. 奇异值分解SVD

上面说过，特征值和特征向量由相似对角化给出
然而，仅方阵有“特征值”的概念；且 相似对角化 要求有足够的特征向量（并非每个矩阵都有足够的无关特征向量）
对于更一般的矩阵，“特征值”推广为奇异值

奇异值分解$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$（正交矩阵x对角阵x正交矩阵），其中：

• $\mathbf{U}$保存了左奇异向量；$\mathbf{V}$保存了右奇异向量，注意这是两个不同的奇异向量集，或者说 两组单位正交基（与相似对角化的情况不同）
• 特征值：$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$，变换中特性向量被单纯拉伸；
  奇异值：$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$，变换中奇异向量被旋转+拉伸+旋转
  

---

再次用“列向量乘以行向量=秩1矩阵”的观点来看

• 对于一般矩阵，可以拆分为多个秩1矩阵 即 $b_i{c}_i^{\ast }$ 叠加得到结果
• 对于对称矩阵，$\mathbf{S}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$可以视为将对称矩阵拆分为一系列秩1矩阵${\lambda }_i{\mathbf{q}}_i{\mathbf{q}}_i^T$的和
• 对于更一般的矩阵，$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$可以视为将对称矩阵拆分为一系列秩1矩阵${\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T$的和
  其中${\sigma }_i$为奇异值，是特征值的推广

SVD的应用：用低秩矩阵近似复杂矩阵

SVD给出了矩阵的重要特征

• 利用SVD，我们将整个矩阵拆分一系列秩1矩阵${\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T$的和
• 奇异值${\sigma }_i$越大，相应的秩1矩阵越重要
  从而，我们适当保留前$k$个最大的奇异值${\sigma }_1...{\sigma }_k$，它们的和是低秩的矩阵，但却可以很好地接近原来的复杂矩阵
• 此外，我们还用奇异值${\sigma }_i$定义矩阵的范数Norm，从而衡量矩阵的大小

随机数值线性代数

当矩阵过大、不便于处理时，对矩阵进行随机采样，从而处理大规模线性代数问题，称为随机数值线性代数RandNLA（Randomized Numerical Linear Algebra）

引用：MIT线性代数_2020年更新讲解课程
资源指引：