MIT 线性代数 Linear Algebra 15: 投影 projection

这一讲主要是在说，一个 ${\mathbb{R}}^m$ 维空间中的点 (也就是一个 vector) 怎么样被投影到${\mathbb{R}}^m$ 的一个 subspace 上的。

Motivation: 对于方程 $\mathbf{A}\mathbf{x}=\mathbf{b}$，我们之前已经知道它有解的充要条件是 $\mathbf{b}$ 在 $\mathbf{A}$ 的 column space $C(\mathbf{A})$ 中。那么，如果 $\mathbf{b}$ 不在 $C(\mathbf{A})$ 中怎么办尼 （比如我们不停地对卫星的位置进行观测得到一系列的位置方程，但每个方程都有noise）？此时 exact solution 不存在，我们可以尝试求一个近似的最优解。即，把 $\mathbf{b}$ 投影到 $C(\mathbf{A})$ 上，再求出 $\hat{\mathbf{x}}$ 使得 $\mathbf{A}\hat{\mathbf{x}}=\mathbf{P}\mathbf{b}$, 其中 $\mathbf{P}$ 是一个投影矩阵 (一个vector转换到另一个vector)。

${\mathbf{A}}^{\top }\mathbf{A}$

在进入正题之前，我们先看一下矩阵 ${\mathbf{A}}^{\top }\mathbf{A}$。结论：${\mathbf{A}}_{m\times n}$ 是一个列满秩矩阵, 那么${\mathbf{A}}^{\top }\mathbf{A}$ ($n\times n$) 满秩。

Proof. 令 ${\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}=0$, 我们只要证明 $\mathbf{x}=0$ 即可证明 ${\mathbf{A}}^{\top }\mathbf{A}$ 满秩。

由 ${\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}=0$, 我们有 ${\mathbf{x}}^{\top }{\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}=0$，则
x ⊤ A ⊤ A x = ( A x ) ⊤ A x = 0 \bm{x^\top A^\top A x}= (\bm{A x})^\top \bm{A x}=0 x