MIT 线性代数 Linear Algebra 25: 对称矩阵的特征值特征向量，正定矩阵

对称矩阵的特征值和特征向量

这一节，我们首先研究一类重要的矩阵，实对称矩阵，的特征值和特征向量。

性质

我们的主要结论是

• 实对称矩阵的特征值全部是实数。
• 实对称矩阵可以取到 $n$ 个正交的特征实向量。

原因

为什么所有实对称矩阵的特征值全部是实数尼？我们只用对比
$$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}(1)$$

$$\mathbf{A}\overline{\mathbf{x}}=\overline{\lambda }\overline{\mathbf{x}}(2)$$

即可，其中下式是上式两边共轭的结果。其实从这里也能看出，任意实矩阵 $\mathbf{A}$, 如果 $\lambda$ 是其特征值，则 $\overline{\lambda }$ 也是它的特征值，他们的特征向量互为共轭。

我们还知道 $\mathbf{A}={\mathbf{A}}^{\top }$, 因此由 (2) 有
$${\overline{\mathbf{x}}}^{\top }\mathbf{A}=\overline{\lambda }{\overline{\mathbf{x}}}^{\top }(3)$$

(1) 左乘 ${\overline{\mathbf{x}}}^{\top }$, (3) 右乘 $\mathbf{x}$ 有
$${\overline{\mathbf{x}}}^{\top }\mathbf{A}\mathbf{x}=\lambda {\overline{\mathbf{x}}}^{\top }\mathbf{x}$$

$${\overline{\mathbf{x}}}^{\top }\mathbf{A}\mathbf{x}=\overline{\lambda }{\overline{\mathbf{x}}}^{\top }\mathbf{x}$$

Since ${\overline{\mathbf{x}}}^{\top }\mathbf{x}\ne 0$, 我们有 $\lambda =\overline{\lambda }$, 即 $\lambda$ 是实数。

复数矩阵 $\mathbf{A}$: 从上面的推导也可以看出，我们其实是在比较 (1) 和 (1) 的共轭转置。 此时，如果 $\mathbf{A}$ 是复数矩阵，我们有
$${\overline{\mathbf{x}}}^{\top }\mathbf{A}\mathbf{x}=\lambda {\overline{\mathbf{x}}}^{\top }\mathbf{x}$$

$${\overline{\mathbf{x}}}^{\top }{\overline{\mathbf{A}}}^{\top }\mathbf{x}=\overline{\lambda }{\overline{\mathbf{x}}}^{\top }\mathbf{x}$$

所以，如果复矩阵是厄米矩阵 (Hermitian) $\mathbf{A}={\overline{\mathbf{A}}}^{\top }$，那它的特征值也全是实数，其中通常我们记作 ${\overline{\mathbf{A}}}^{\top }={\mathbf{A}}^H$.

应用

给定上面两点性质，一个重要的结论是所有的实对称矩阵都能被相似对角化
$$\mathbf{A}=\mathbf{Q}\Lambda {\mathbf{Q}}^{-1}=\mathbf{Q}\Lambda {\mathbf{Q}}^{\top }$$

特别的，对角化所用矩阵是正交矩阵 $\mathbf{Q}$。这有什么好处尼？好处是我们可以把矩阵 $\mathbf{A}$ 直接表示为它的特征值和特征向量：
$$\mathbf{A}={\lambda }_1{\mathbf{q}}_1{\mathbf{q}}_1^{\top }+{\lambda }_2{\mathbf{q}}_2{\mathbf{q}}_2^{\top }+...+{\lambda }_n{\mathbf{q}}_n{\mathbf{q}}_n^{\top }$$

其中每一项 ${\mathbf{q}}_i{\mathbf{q}}_i^{\top }$ 都是一个projection matrix (可以代入性质，对称，幂次方是本身)。每一个对称矩阵都能表示为 $n$ 个相互正交的投影矩阵的线性组合

Fact 1: 如果没有 row exchange， 实对称的 pivots乘积等于矩阵的行列式，因此也等于所有特征值的乘积。

Fact 2: 对于实对称矩阵，列出所有的 pivots 和所有的特征值，positive的个数和negative的个数相等。

这一点的用处是，

1. 我们可以估计特征值的正负，这在differential equations中很有用，因为它决定了系统最终会不会收敛。
2. 我们可以用 pivots 来估计大于某个数, 比如$d$， 的特征值的个数 (pivots比特征值好算太多太多)。做法就是看矩阵 $\mathbf{A}-\mathbf{d}\mathbf{I}$ pivots 有多少个正数，因为特征值被平移了 $d$.

正定矩阵 positive definite matrix

对称矩阵是一类很好的矩阵，在这个基础上，我们介绍另一类矩阵：正定矩阵。这里我们只介绍一下概念，稍后我们会仔细看这一类矩阵。

前提：实对称矩阵。

要求：所有特征值大于零。

特性：

1. 所有特征值大于零。
2. 所有 pivots 大于零。
3. 所有 $n$ 个 子行列式大于零。