矩阵知识小笔记（持续更新）

线性方程的解与矩阵的逆

齐次方程

非齐次方程 $\mathbf{A}\mathbf{x}=\mathbf{b}$

如果 $\mathbf{A}$ 行满秩（即 $\mathbf{A}{\mathbf{A}}^T$ 满秩）， 有MMSE解 $\mathbf{x}={\mathbf{A}}^T(\mathbf{A}{\mathbf{A}}^T{)}^{-1}\mathbf{b}$，其中 ${\mathbf{A}}^T(\mathbf{A}{\mathbf{A}}^T{)}^{-1}={\mathbf{A}}_{\text{right}}^{-1}$ 是 $\mathbf{A}$ 的右逆（即$\mathbf{A}{\mathbf{A}}_{\text{right}}^{-1}=\mathbf{I}$）。简记：右逆，最小均方误差，行满秩。

如果 $\mathbf{A}$ 列满秩（即 ${\mathbf{A}}^T\mathbf{A}$ 满秩）， 有LS解 $\mathbf{x}=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{b}$，其中 $({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T={\mathbf{A}}_{\text{left}}^{-1}$ 是 $\mathbf{A}$ 的左逆（即${\mathbf{A}}_{\text{left}}^{-1}\mathbf{A}=\mathbf{I}$）。简记：左逆，最小二乘，列满秩。

矩阵的正定、正交

正定

所有特征值大于0的矩阵为正定矩阵。正定矩阵的性质：

1. 任意正定矩阵 $\mathbf{A}$ 满足 ${\mathbf{x}}^T\mathbf{A}\mathbf{x}>0$，其中 $\mathbf{x}$ 为任意实数向量。

2. 任意正定矩阵 $\mathbf{A}$ 可以表示为 $\mathbf{A}=\mathbf{U}{\mathbf{U}}^T$，其中 $\mathbf{U}$ 是实数矩阵。任意非正定矩阵 $\mathbf{A}$ 可以表示为 $\mathbf{A}=\mathbf{U}{\mathbf{U}}^T$，其中 $\mathbf{U}$ 是复数矩阵。

正交

如果 $\mathbf{A}{\mathbf{A}}^T=\mathbf{\Lambda }$，则 $\mathbf{A}$ 是正交矩阵，其中 $\mathbf{\Lambda }$ 为对角矩阵。正交矩阵的本质是不同行的点积，不同列的点积为0。

矩阵的特征值及奇异值

特征值分解 $\mathbf{A}=\mathbf{P}\mathbf{\Lambda }{\mathbf{P}}^T$

奇异值分解 $\mathbf{A}=\mathbf{P}\mathbf{\Lambda }{\mathbf{Q}}^T$