【线性代数】【二】2.9 子空间投影

---

前言

上文讲到子空间的正交关系，再高中学习向量正交后，紧接着学习的一个概念是向量投影。现在，我们进一步扩展概念，学习子空间投影。

---

一、向量投影

向量$\mathbf{a}$在向量$\mathbf{b}$上的投影$\mathbf{c}$满足如下关系：

${\mathbf{a}}^T(\mathbf{b}-\mathbf{x})=0$

我们对这个定义来进行形象描述：用向量$\mathbf{a}$、$\mathbf{b}$所在平面内，垂直于向量$\mathbf{a}$的光照向量$\mathbf{b}$，其落在向量$\mathbf{a}$上的投影就是$\mathbf{x}$。

因为向量$\mathbf{x}$落在向量$\mathbf{a}$上，因此有向量共线关系：$\mathbf{x}=k\mathbf{a}$。从而，对原式进行变形有：

${\mathbf{a}}^T(\mathbf{b}-k\mathbf{a})=0$
$k=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}$
$\mathbf{x}=k\mathbf{a}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}\mathbf{a}=\mathbf{a}\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}$

观察投影公式，可以发现若$\mathbf{a}$，$\mathbf{b}$正交，则投影为$0$；若$\mathbf{a}$，$\mathbf{b}$共线，则投影为$\mathbf{b}$。投影向量的长度为$|\mathbf{b}|\cos \theta$，其中$\theta =\frac{{\mathbf{a}}^T\mathbf{b}}{|\mathbf{a}||\mathbf{b}|}$为向量$\mathbf{a}$与向量$\mathbf{b}$的夹角。

二、投影矩阵

从上述式子中，我们可以将原向量$\mathbf{b}$以外的因子整理出来，得到下式：

$\mathbf{x}=\mathbf{a}\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}=\frac{\mathbf{a}{\mathbf{a}}^T}{{\mathbf{a}}^T\mathbf{a}}\mathbf{b}=\mathbf{P}\mathbf{b}$

我们称$\mathbf{P}$为投影矩阵，对任意向量左乘上$\mathbf{P}$，即可得到该向量在$\mathbf{a}$上的投影。简单分析一下它的性质：

1. 对称性：由其形式很容易可以验证${\mathbf{P}}^T=\mathbf{P}$
2. 秩为一：其分子为列向量乘行向量，所得矩阵的每一行均为${\mathbf{a}}^T$的数乘，因此秩为一。
3. 幂恒等于原矩阵：${\mathbf{P}}^n=\mathbf{P}$，${\mathbf{P}}^2=\frac{\mathbf{a}({\mathbf{a}}^T\mathbf{a}){\mathbf{a}}^T}{{\mathbf{a}}^T\mathbf{a}{\mathbf{a}}^T\mathbf{a}}=\frac{\mathbf{a}{\mathbf{a}}^T}{{\mathbf{a}}^T\mathbf{a}}$。

对于性质三，从投影的定义来理解也容易得到这个结论：进行一次投影之后，得到的投影向量已经与$\mathbf{a}$共线，继续重复投影操作只会一直得到原投影向量。

三、子空间投影

上述向量投影，是一个向量相对于另一个向量所作的。现在，我们将投影的概念进行扩充，变成一个向量再另一个平面上，甚至是更大的子空间上，比如矩阵$\mathbf{A}$的行空间。

类比于向量投影的情况，要找到向量在空间上的投影，也就是要找到这样一个向量，它与原向量的差与该空间正交，即与该空间中的一组基正交。因此，我们有：

$\mathbf{A}(\mathbf{b}-\mathbf{x})=0$
$\mathbf{A}\mathbf{b}=\mathbf{A}\mathbf{x}$

可见，求投影的过程就是求解上述非齐次性方程组的解。该方程必然有解，因为$\mathbf{Ab}$是对矩阵列向量的线性组合，仍然属于矩阵的列空间。同样，由于$\mathbf{x}$属于矩阵的行空间，我们可以将其进一步表示为行向量的线性组合：

$\mathbf{x}={\mathbf{A}}^T\mathbf{y}$
$\mathbf{Ab}={\mathbf{AA}}^T\mathbf{y}$

如果${\mathbf{AA}}^T$是可逆矩阵，那么我们就可以解出投影的坐标$\mathbf{y}$:

$\mathbf{y}=({\mathbf{AA}}^T{)}^{-1}\mathbf{Ab}$
$\mathbf{x}={\mathbf{A}}^T\mathbf{y}={\mathbf{A}}^T({\mathbf{AA}}^T{)}^{-1}\mathbf{Ab}$

从而，我们也能得到投影矩阵：

$\mathbf{P}={\mathbf{A}}^T({\mathbf{AA}}^T{)}^{-1}\mathbf{A}$

从形式上观察，子空间的投影矩阵与向量的投影矩阵还是很相似的，如果将$\mathbf{A}$变成只有一个行向量${\mathbf{a}}^T$的话，投影矩阵就退化成$\mathbf{P}=\frac{\mathbf{a}{\mathbf{a}}^T}{{\mathbf{a}}^{\mathbf{T}}\mathbf{a}}$，与之前的形式完全一致。

验证上述三条性质，可知1）和3）仍然满足，但是2）不满足，当$\mathbf{A}$可逆时，投影矩阵为单位阵，此时原向量在子空间内，其投影就是自身。

四、${\mathbf{AA}}^T$的可逆性

那么问题是，${\mathbf{AA}}^T$是否真的可逆呢？在回答这个问题前，我们先回顾之前的推理：我们要的是找到向量$\mathbf{b}$在矩阵$\mathbf{A}$的空间中的投影，进一步得到要找到方程$\mathbf{A}(\mathbf{b}-\mathbf{x})=0$的解。对于该方程，如果我们将矩阵$\mathbf{A}$中线性相关的行向量去除，取其极大线性无关组构成新的矩阵${\mathbf{A}}^{\prime }$，两方程同解。（矩阵$\mathbf{A}$与${\mathbf{A}}^{\prime }$的零空间相同）

因此我们只需要用$({\mathbf{A}}^{\prime }{\mathbf{A}}^{\prime \mathbf{T}}{)}^{-1}$即可求解投影，即只需要说明${\mathbf{A}}^{\prime }{\mathbf{A}}^{\prime \mathbf{T}}$可逆即可。(为简单起见，下面还是用$\mathbf{A}$来简单表示行向量均线性无关的矩阵吧)

我们选择证明齐次线性方程组${\mathbf{AA}}^T\mathbf{x}=0$只有零解：

$\because {\mathbf{A}}^T\mathbf{x}$是对矩阵$\mathbf{A}$的行向量的线性组合，这些行向量均线性无关
$\therefore$ 当$\mathbf{x}\ne 0$时，${\mathbf{A}}^T\mathbf{x}\ne 0$且属于矩阵$\mathbf{A}$的行空间
$\therefore$ 所以${\mathbf{A}}^T\mathbf{x}$不属于矩阵$\mathbf{A}$的零空间。
$\therefore$ 只有当${\mathbf{A}}^T\mathbf{x}=0$时，上述方程成立
又$\because {\mathbf{A}}^T$为列满秩矩阵，
$\therefore$ ${\mathbf{A}}^T\mathbf{x}=0$只有零解。
$\therefore$ 矩阵${\mathbf{AA}}^T$为可逆矩阵。

对于一个子空间而言，选择不同的基向量构造矩阵$\mathbf{A}$，从而得到的投影矩阵似乎是不一样的？其实，这些投影矩阵虽然长得不一样，但是都是相似矩阵，这个留到日后再作展开。

---

总结

本文将向量投影拓展为子空间投影，对其求解、投影矩阵进行了推导。投影是一种寻求近似的方法，之前我们提到当非齐次方程组右侧向量不在矩阵的列空间中时，方程组无解。但是我们可以找到在该列空间中与该向量最为解决的列向量——子空间投影，从而实现在有限的基张成的空间上去近似表示未知向量。