这一讲主要是在说,一个 R m \mathbb{R}^m Rm 维空间中的点 (也就是一个 vector) 怎么样被投影到 R m \mathbb{R}^m Rm 的一个 subspace 上的。
Motivation: 对于方程 A x = b \bm{Ax=b} Ax=b,我们之前已经知道它有解的充要条件是 b \bm{b} b 在 A \bm{A} A 的 column space C ( A ) C(\bm{A}) C(A) 中。那么,如果 b \bm{b} b 不在 C ( A ) C(\bm{A}) C(A) 中怎么办尼 (比如我们不停地对卫星的位置进行观测得到一系列的位置方程,但每个方程都有noise)?此时 exact solution 不存在,我们可以尝试求一个近似的最优解。即,把 b \bm{b} b 投影到 C ( A ) C(\bm{A}) C(A) 上,再求出 x ^ \hat{\bm{x}} x^ 使得 A x ^ = P b \bm{A\hat{x}=Pb} Ax^=Pb, 其中 P \bm{P} P 是一个投影矩阵 (一个vector转换到另一个vector)。
A ⊤ A \bm{A^\top A} A⊤A
在进入正题之前,我们先看一下矩阵 A ⊤ A \bm{A^\top A} A⊤A。结论: A m × n \bm{A}_{m\times n} Am×n 是一个列满秩矩阵, 那么 A ⊤ A \bm{A^\top A} A⊤A ( n × n n\times n n×n) 满秩。
Proof. 令 A ⊤ A x = 0 \bm{A^\top A x=0} A⊤Ax=0, 我们只要证明 x = 0 \bm{x=0} x=0 即可证明 A ⊤ A \bm{A^\top A} A⊤A 满秩。
由 A ⊤ A x = 0 \bm{A^\top A x=0} A⊤Ax=0, 我们有 x ⊤ A ⊤ A x = 0 \bm{x^\top A^\top A x}=0 x⊤A⊤Ax=0,则
x ⊤ A ⊤ A x = ( A x ) ⊤ A x = 0 \bm{x^\top A^\top A x}= (\bm{A x})^\top \bm{A x}=0 x