MIT 线性代数导论 第十五讲：子空间投影

本讲的主要内容有：

• 投影的概念
• 为什么要进行投影操作
• 最小二乘法的介绍

投影（Projection）

首先再二维平面中直观的看一下投影的概念：

如图，两个不同向的向量 $a$， $b$，其中 $b$ 落在 $a$ 的方向上的向量 $p$ 就是 $b$ 在 $a$ 上的投影，其实就是构成一个直角，这跟我们生活中的理解是一样的，从图中，我们有以下的定义和结论：

• 向量 $p$ ，它是向量 $a$ 的一部分，我们用式子 $p=xa$ 表示
• 向量 $e$，可以用 $b-p$ 表示，即：$e=b-p$
• $e$ 与 $p$ 正交，根据上一讲的内容，可以得出：
  $$a^{T}e=0$$
  根据上面 $e$ 的解释，可以有如下过程：
  $$a^{T}e=0\iff a^T(b-xa)=0$$

继续拆分，最终可以得到关于常数 $x$ 的表达式：
$$x=\frac{a^{T}b}{a^{T}a}$$
又因为 $p=xa$，代入，得：
$$p=a\frac{a^{T}b}{a^{t}a}$$
如果我们将上面的式子继续写成某个矩阵乘 $b$ 的形式，可以得到：
p = P ⋅ b