MIT 线性代数 Linear Algebra 21:特征值，特征向量，总结

ok, 终于进入了第二部分的核心，特征值和特征向量

首先，我们可以把矩阵想象成一个函数，普通的函数，给他一个 $x$, 它输出一个 $y$, 对于矩阵 $\mathbf{A}$ 来说，给定一个 vector $\mathbf{x}\in {\mathbb{R}}^n$, 它输出一个 $\mathbf{y}\in {\mathbb{R}}^m$:
$$\mathbf{A}\mathbf{x}=\mathbf{y}$$

因此当 $\mathbf{A}$ 是方阵时，它相当于是 ${\mathbb{R}}^n$ 空间中的一个变换，把一个 vector 转换成另一个 vector。从这一讲开始，我们关心的问题是，给定一个 ${\mathbf{A}}_{n\times n}$，有哪些 vector $\mathbf{x}\in {\mathbb{R}}^n$ 经过变换之后仍然和 $\mathbf{x}$ 同向？这句话可以用以下定义表述。

定义

给定矩阵 ${\mathbf{A}}_{n\times n}$, $\text{rank}(\mathbf{A})=r$,
$$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}(1)$$

成立的 $\lambda$ 称为$\mathbf{A}$ 的特征值 ($\lambda$ 可以是0，可以是负数，可以是复数)，$\mathbf{x}$ 称为$\mathbf{A}$ 的特征向量（$0$ 不是特征向量）。

一个首先可以想到的结论是，如果 $\mathbf{A}$ 满秩，则说明 $\mathbf{A}\mathbf{x}\ne 0$ if $\mathbf{x}\ne 0$, 这也就意味着 $\lambda \ne 0$。反之，如果 $\mathbf{A}$ 不满秩，则说明 $\mathbf{A}$ 的 null space里一定有非零 $\mathbf{x}$ 使得 $\mathbf{A}\mathbf{x}=0$, 所以 $\lambda =0$.

所以

Fact 1: 满秩矩阵一定没有零特征值；不满秩矩阵一定有零特征值, 且零特征值对应着 $n-r$ 个独立的特征向量。

最后一点很好理解，因为矩阵不可逆时，零特征值对应的特征向量其实是整个 null space，其中最多有 $n-r$ 个线性独立的特征向量。

求解特征值和特征向量

我们先看两个例子，再看in general怎么求解特征值和特征向量。

---

例1：假设我们的矩阵是一个 projection matrix, $\mathbf{P}=\mathbf{C}({\mathbf{C}}^{\top }\mathbf{C}{)}^{-1}{\mathbf{C}}^{\top }$， 那么 $\mathbf{P}$ 的特征值和特征向量是什么？
$$\mathbf{P}\mathbf{x}=\lambda \mathbf{x}$$

根据之前讲的projection matrix的内容，我们已经知道了 $\mathbf{P}$ 的主要功能是把任意vector project 到 $\mathbf{C}$ 的column space上。那么，什么样的vector $\mathbf{x}$ 被 $\mathbf{P}$ project 之后还是跟自己同向尼？

我们有两个idea

1. $\mathbf{x}$ 本身就在 $\mathbf{C}$ 的column space上, 这样投影之后是自己本身.
   此时特征值 $\lambda =1$, 特征向量是 $\mathbf{C}$ 的column space 中任意向量。
2. $\mathbf{x}$ 与 $\mathbf{C}$ 的column space垂直，这样投影之后就是零向量。
   此时特征值 $\lambda =0$，特征向量是 $\mathbf{C}$ 的 left null space (即与column space垂直的space) 中任意向量。

注意，从第二点也可以看出，矩阵的column space可能只是空间中的一个subspace，但是这不代表他没有 $n$ 个线性无关的特征向量，特征向量空间和column space没啥直接关系。

例2：求以下 permutation matrix 的特征值和特征向量。
$$\mathbf{A}=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$$

即，我们想找到满足 $\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$ 的 $\lambda$ 和 $\mathbf{x}$.

permutation matrix 的作用是调换 $\mathbf{x}$ 的顺序，因此很容易想到 $\mathbf{x}=c[1,1{]}^{\top }$ 或者 $\mathbf{x}=c[1,-1{]}^{\top }$，他们对应的特征值分别是 1 和 -1.

---

好，现在让我们看一下怎么系统的求特征值和特征向量。还是从
$$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$$

入手，我们有
$$(\mathbf{A}-\lambda \mathbf{I})\mathbf{x}=0$$

如果存在 $\lambda$ 和 $\mathbf{x}\ne 0$ 使得此式成立，我们必须有
$$\left|\begin{array}{c}\mathbf{A}-\lambda \mathbf{I}\end{array}\right|=0(2)$$

这就是矩阵 $\mathbf{A}$ 的特征方程 (characteristic equation)。直观上来看，

1. 就是把 $\mathbf{A}$ 主对角线上的元素同时减去某个值使其不满秩。减完之后得到的新矩阵的 null space中便是特征向量，因此特征向量一定是以空间的形式出现的，我们一般只给出null space中一组basis称为 “线性无关的特征向量”。
2. 原矩阵 $\mathbf{A}$ 和 $\mathbf{A}-\lambda \mathbf{I}$ 其实没啥直接的联系，因此，特征值和特征向量与原矩阵的性质一般没有直接的联系。唯一有联系的是，当原本矩阵 $\mathbf{A}$ 就不可逆时，他就有零特征值，此时 $\mathbf{A}$ 和 $\mathbf{A}-0\mathbf{I}$，那两个 null space 就是一致的，零特征值对应的特征向量也是一样的。
3. Eq. (2) 可以让我们计算 $\lambda$. 然后对于每个 $\lambda$，我们再求 null space 便能得到线性无关的特征向量。

行列式有些很好的性质，比如，

Fact 2: $n$ 阶矩阵有 $n$ 个特征值，其中一些特征值可能相同，也可能有复数。

Fact 3: $n$ 个特征值的和等于矩阵的迹 (对角线上元素的和), 积等于矩阵的行列式.
$$\text{trace}(\mathbf{A})={\lambda }_1+{\lambda }_2+...+{\lambda }_n$$

$$\text{det}(\mathbf{A})={\lambda }_1{\lambda }_2...{\lambda }_n$$

但他也有一些不是那么 elegant 的特点。比如有复数特征值。请看下例。

例3： 求以下 90-degree rotation matrix 的特征值和特征向量。
$$\mathbf{Q}=\left[\begin{array}{cc}\cos \frac{\pi }{2}& -\sin \frac{\pi }{2}\\ \sin \frac{\pi }{2}& \cos \frac{\pi }{2}\end{array}\right]=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$$

首先，从这个矩阵中我们已经有了一些消息了, 比如它一定有两个特征值且
$${\lambda }_1+{\lambda }_2=0$$

$${\lambda }_1{\lambda }_2=1$$

按照 (2) 的思路解 $\lambda$ 我们得到
$${\lambda }^2+1=0$$

$${\lambda }_1=i,{\lambda }_2=-i$$

可以看到，即使是很简单的实数矩阵，我们也会得到复数的特征值。

Fact 4: 实矩阵的复数特征值总是成对出现的，其他们对应的特征向量也互为共轭。

这一点从 $\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$ 两边同时取共轭即可得出
$$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$$

$$\mathbf{A}\overline{\mathbf{x}}=\overline{\lambda }\overline{\mathbf{x}}$$

其中 $\mathbf{A}$ 是实矩阵不受共轭影响。

Fact 5: 实对称矩阵仅有实数特征值。

我们看例3中的matrix，实际上这个matrix 是anti-symmetric的，他不仅不对称，而且是反对称，所以它是一个极端，只有虚数特征值。对于其他矩阵，会出现实数虚数特征值同时存在的情况。而且我们注意了，对于实矩阵，如果 $a+bj$ 是特征值，那么 $a-bj$ 也是特征值，他们一定是成对出现的。这很好理解，因为我们要把虚数消掉是的他们满足 fact 2 & 3.

Fact 6: 不同特征值对应的特征向量一定正交，同一特征值对应的特征向量就不一定了。

---

关于特征值的一些基本结论（涵盖下几讲内容）

特征值

1. 特征方程在复数范围内恒有 $n$ 个解，所以任何方阵都有 $n$ 个 (可能相同的) 特征值
2. ${\lambda }_1+{\lambda }_2+...+{\lambda }_n=\text{trace}(\mathbf{A})$.
3. ${\lambda }_1{\lambda }_2...{\lambda }_n=\text{det}(\mathbf{A})$.
4. $\mathbf{A}$ 可逆的充要条件是它没有零特征值. 换句话说，不可逆矩阵一定有零特征值。这也是矩阵是否满秩和特征值的唯一关系。
5. 若 $\lambda$ 是 $\mathbf{A}$ 的特征值，则 $1/\lambda$ 是 ${\mathbf{A}}^{-1}$ 的特征值， ${\lambda }^k$ 是 ${\mathbf{A}}^k$ 的特征值, $\phi (\lambda )$ 是 $\phi (\mathbf{A})$ 的特征值 ($\phi$ 是多项式形式), 且特征向量相同。
6. $\mathbf{A}$ 和 ${\mathbf{A}}^{-1}$ 的特征值一致 (从特征多项式可以看出)，但特征向量不同。
7. 上/下三角矩阵的特征值就是对角线元素。
8. 实矩阵的复数特征值总是成对出现的，其他们对应的特征向量也互为共轭

特征向量

9. 不同特征值对应的特征向量线性无关。
10. 再次强调，有没有 $n$ 个线性无关的特征值和矩阵的column space是不是 $n$ 维没有关系！

实对称矩阵：

11. 实对称矩阵的特征值一定是实数，特征向量可以取到实向量。
12. 实对称矩阵不同的特征值对应的特征向量不仅线性无关，而且必正交。相同特征值说明特征向量构成一个hyperplane (dim 是重复次数)，此时我们可以取到正交特征向量。
13. 实对称矩阵对角化 $\mathbf{S}$ 为正交阵（存在 $n$ 个正交的特征向量）。