在本节开始前,Prof. Strang 先回顾了一下positive definite matrix,有一些新内容
More about positive definiteness
- 如果 A \bm{A} A 正定,则 A − 1 \bm{A}^{-1} A−1 正定。
这个结论直接看特征值就行, A − 1 \bm{A}^{-1} A−1 的特征值是 A \bm{A} A 的倒数 (不记得的往前看, A \bm{A} A的特征多项式两边同乘 A − 1 \bm{A}^{-1} A−1 即可得到),所以也全是正数。
- if A B \bm{A~B} A B 都是正定的,那么 A + B A+B A+B 也是正定的。
根据正定的定义易得。
- 只要方阵 A \bm{A} A 满秩, A ⊤ A ~~\bm{A}^\top\bm{A} A⊤A 是正定矩阵。
对称性显然满足, 再看 x ≠ 0 \bm{x}\neq 0 x=0 时的 x ⊤ A ⊤ A x = ( A x ) ⊤ A x = ∥ A x ∥ 2 \bm{x}^\top\bm{A}^\top\bm{A}\bm{x}=(\bm{Ax})^\top\bm{Ax}=\|\bm{Ax}\|^2 x⊤A⊤Ax=(Ax)⊤Ax=∥Ax∥2,因为 A \bm{A} A 满秩,所以 null space 只有全零向量,因此 ∥ A x ∥ 2 > 0 \|\bm{Ax}\|^2>0 ∥Ax∥2>0, A ⊤ A \bm{A}^\top\bm{A} A⊤A 正定. In general, 如果 A \bm{A} A 不是方阵,只要它列满秩也有同样结论。
对称矩阵
对称矩阵的意义在于它构建了a family of matrices。具体来说,我们称 B \bm{B} B 与 A \bm{A} A 相似 if and only if
B = M − 1 A M \bm{B}=\bm{M}^{-1}\bm{AM} B=M−1AM
注意,
-
M − 1 \bm{M}^{-1} M−1 和 M \bm{M} M 互为逆,所以谁在左边谁在右边无关紧要,这与 A ⊤ A \bm{A}^\top\bm{A} A⊤A 不同。
-
所有相似的矩阵构成了一个family,其中可能会有对角阵,那说明这个family所有的矩阵都可以相似对角化。
-
所有相似的矩阵有同样的特征值.
A x = λ x \bm{Ax}=\lambda \bm{x} Ax=λx
M B M − 1 x = λ x \bm{M}\bm{BM}^{-1}\bm{x}=\lambda \bm{x} MBM−1x=λx
B ( M − 1 x ) = λ ( M − 1 x ) \bm{B}\bm{(M}^{-1}\bm{x})=\lambda (\bm{M}^{-1}\bm{x}) B(M−1x)=λ(M−1x)
从第三点来看,实际上相似对角化 A = S Λ S − 1 \bm{A}=\bm{S}\Lambda\bm{S}^{-1} A=SΛS−1 保持了 A \bm{A} A 的特征值不变,而是把特征向量变得很nice,因为对角矩阵的特征向量就是 单位阵的各个column。
Jordan form
如果我们考虑理想的情况,设矩阵 A \bm{A} A, B \bm{B} B 有同样的 n n n 个各不相同的特征值 λ 1 \lambda_1 λ1, λ 2 \lambda_2 λ2, …, λ n \lambda_n λn, 那他们俩必定相似,而且任何特征值为 λ 1 \lambda_1 λ1, λ 2 \lambda_2 λ2, …, λ n \lambda_n λn的矩阵都与他们相似。
但是如果特征值有重复的,且线性相关特征向量的个数不足
n
n
n 个,那这个family里面会缺少对角阵,比如
A
=
[
4
0
0
4
]
B
=
[
4
1
0
4
]
\bm{A}=\begin{bmatrix} 4 & 0 \\ 0 & 4 \\ \end{bmatrix}~~~\bm{B}=\begin{bmatrix} 4 & 1 \\ 0 & 4 \\ \end{bmatrix}
A=[4004] B=[4014]
除去 A \bm{A} A 之外所有特征值为 { 4 , 4 } \{4,4\} {4,4} 的矩阵都与 B \bm{B} B 相似,而 A \bm{A} A 只与自己相似因为 M − 1 A M = A \bm{M}^{-1}\bm{AM=A} M−1AM=A . 此时,我们只能从包含 B \bm{B} B 的family中找到一个与 A \bm{A} A 最相似的,这也就是Jordan matrix。
Theorem: 任意方阵
A
\bm{A}
A 都与一个 Jordan matrix
J
\bm{J}
J 相似。
J
=
[
J
1
0
⋯
0
0
J
2
⋯
0
⋮
⋮
⋱
0
0
0
0
J
d
]
\bm{J}=\begin{bmatrix} \bm{J_1} & 0 & \cdots & 0 \\ 0 & \bm{J_2} & \cdots & 0 \\ \vdots & \vdots & \ddots & 0\\ 0 & 0 & 0 & \bm{J_d}\\ \end{bmatrix}
J=⎣⎢⎢⎢⎡J10⋮00J2⋮0⋯⋯⋱0000Jd⎦⎥⎥⎥⎤
其中每一个
J
i
\bm{J_i}
Ji 都是一个Jordan block。一个Jordan matrix 的例子如下所示
其中每一个Jordan block 对角线都是特征值,上方的次对角线全是1. 特别的,每一个Jordan block对应一个特征向量,因此,Jordan block的数量也就是矩阵线性无关特征值的数量。