子空间的投影矩阵推导过程及其性质

一维投影

设向量 $b$ 在子空间 $a$ 上的投影为 向量 $p=xa$，则向量b 与 向量p 之间的最小误差 $e=b-p$与子空间$a$正交。

由正交的定义有： $a^T(b-p)=0\to a^T(b-xa)=0$

所以：$a^{T}ax=a^{T}b$

所以：$x=\frac{a^{T}b}{a^{T}a}=\frac{a\cdot b}{a\cdot a}$

向量b 在子空间 a上的投影 $p=ax=a\frac{a^{T}b}{a^{T}a}$

上式也可写成：$p=\frac{a{a}^T}{a^{T}a}b$

其中 $\frac{a{a}^T}{a^{T}a}$ 称为子空间 a 的投影矩阵 $P$。

• 注意到 $a{a}^T$ 是一个矩阵，$a^{T}a$ 是一个数字，所以两者相除，得到的是一个矩阵

投影矩阵 $P$ 的性质：

• $P$ 是对称矩阵，即 $P^T=P$
• 投影两次，不会改变投影结果，即 $P^2=P$

二维投影

• 投影的意义：对于方程组 $Ax=b$，如果 $b$ 不在 矩阵$A$ 的列空间中，则方程组无精确解，这时可以通过将 b 投影到$A$的列空间$C(A)$得到 $p$，然后求解 $A\hat{x}=p$ 来得到近似解。

$a_1$和 $a_2$ 是矩阵 A 的列空间的基，$p$ 是 $b$ 在 A的列空间的投影，$e$ 是 $b$ 垂直于A的列空间的分量。

所以 $p=\widehat{x_1}{a}_1+\widehat{x_2}{a}_2=A\hat{x}$， $\hat{x}$ 是我们需要求的目标。

$e=b-p$，表示$b$的实际值与近似值$p$之间的误差，当 $e$ 垂直于$A$的列空间时，这个误差最小，此时求解得到的解即为最优解

因为 $e=b-p=b-A\hat{x}$ 垂直于 A的列空间，所以 $e$ 分别与 A 的基 $a_1$ 和 $a_2$ 垂直

所以有 $a_1^{T}e=0$，$a_2^{T}e=0$

即：$\left[\begin{array}{c}{a}_1^T\\ a_2^T\end{array}\right]e=A^T(b-A\hat{x})=A^{T}b-A^{T}A\hat{x}=0\to A^{T}A\hat{x}=A^{T}b$

所以 $\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$

又因为 $p=A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b$

$p$ 是 $b$ 在 A的列空间上的投影，所以A 的投影矩阵为 $P=A(A^{T}A{)}^{-1}{A}^T$

如果 A 是可逆矩阵，则有$P=A{A}^{-1}(A^T{)}^{-1}{A}^T=I$，此时 b 在 A的列空间中，b 的投影还是它自身，所以投影矩阵为 单位矩阵 $I$

$n$ 维的投影矩阵 $P$ 的性质：

• $P$ 是对称矩阵，即 $P^T=P$
• $P^2=P$

由以上讨论可得到：$b=Pb+P_{N}b$，其中 $P_N$ 是垂直于矩阵 A 的法向量，于是有 $Ib=Pb+P_{n}b\to I=P+P_N\to P=I-P_N$。所以可以通过求解法向量的投影矩阵，间接得到 矩阵A 的投影矩阵。