线性代数：高维投影和Gram-Schmidt过程

正文

Gram-Schmidt过程: 对于给定空间的一组基，求取该空间的一组正交基的过程

从二维投影理解更高维的投影问题

上一章节学习了一维投影 ，也就是在一个二维空间中求取一个向量$\vec{v}$在$\vec{u}$向量上的投影$\vec{p}$的过程:
通过向量$\vec{v}$ 向向量$\vec{u}$作垂线，则垂足所在点的向量就是$\vec{v}$在$\vec{u}$上的投影$\vec{p}=\frac{\vec{u}\cdot \vec{v}}{\vec{u}\cdot \vec{u}}\cdot \vec{u}$； 从而与向量$\vec{u}$正交的向量就可以表示为$\vec{v}-\vec{p}$；

求取三维空间的一组正交基

在三维空间中，给出空间的一组基$\vec{u},\vec{v},\vec{w}$,但是它们不是一组正交基，也即不满足两两正交这样的条件，求取这个空间的一组正交基

首先，可以选择其中的两个向量，比如先把$\vec{u},\vec{v}$处理成两个垂直的向量${\vec{p}}_1,{\vec{p}}_2$，然后再处理第三个向量$\vec{w}$，令$\vec{w}$垂直于${\vec{p}}_1,{\vec{p}}_2$也即相当于找出$\vec{w}$的一个分量，这个分量垂直于${\vec{p}}_1,{\vec{p}}_2$所在的平面。由高中的立体几何知识可知，由向量$\vec{w}$所在线段的末端向${\vec{p}}_1,{\vec{p}}_2$所在的平面引一根垂线，相应的就会有一个垂足的位置，这样就可以在${\vec{p}}_1,{\vec{p}}_2$所在的平面上以垂足的位置为末端作出向量$\vec{w}$在平面的投影向量$\vec{p}$，这就是所谓的高维投影，我们现在是在一个二维平面上进行投影:

那么通过投影向量$\vec{p}$，就可以得到与${\vec{p}}_1,{\vec{p}}_2$正交的那个向量${\vec{p}}_3=\vec{w}-\vec{p}$,所以此时问题的核心变成了求取$\vec{w}$向量在${\vec{p}}_1,{\vec{p}}_2$所在平面的投影向量$\vec{p}$；

投影向量$\vec{p}$的求取过程
由于${\vec{p}}_1,{\vec{p}}_2$已经是一组正交向量，所以这两个向量就是${\vec{p}}_1,{\vec{p}}_2$所在平面这样一个子空间的一组正交基，则向量$\vec{p}$可以由${\vec{p}}_1,{\vec{p}}_2$的一组线性组合所表示$\vec{p}=k_1\cdot {\vec{p}}_1+k_2\cdot {\vec{p}}_2$，在这里，直接求取$k_1,k_2$这两个系数显然不方便； 其实对于向量$\vec{p}$，它存在于${\vec{p}}_1,{\vec{p}}_2$所在的平面，那么如果把$\vec{p}$这个向量向${\vec{p}}_1$和${\vec{p}}_2$作垂线，那么在${\vec{p}}_1$和${\vec{p}}_2$方向上就有两个分向量$\vec{a}$和$\vec{b}$，然后$\vec{p}=\vec{a}+\vec{b}$ ， 然后求解向量$\vec{p}$的问题就变成了求解向量$\vec{a}$和$\vec{b}$:
$\to \vec{p}=k_1\cdot {\vec{p}}_1+k_2\cdot {\vec{p}}_2=\vec{a}+\vec{b}$

根据高中立体几何的知识可知

• $\vec{a}$其实也是$\vec{w}$在 ${\vec{p}}_1$上的投影
• $\vec{b}$其实也是$\vec{w}$在 ${\vec{p}}_2$上的投影

进而，求出$\vec{w}$在 ${\vec{p}}_1$和 ${\vec{p}}_2$上的投影就求出来$\vec{a}$和$\vec{b}$，进而就能够得到投影向量$\vec{p}$,最后构造出垂直于${\vec{p}}_1,{\vec{p}}_2$ 的第三个向量$p_3=\vec{w}-\vec{p}=\vec{w}-\vec{a}-\vec{b}$。这个二维投影问题就变成了一维投影问题;

计算向量$\vec{w}$在 ${\vec{p}}_1,{\vec{p}}_2$上的投影，直接代入一维投影计算公式可得
$\vec{a}=\frac{\vec{w}\cdot {\vec{p}}_1}{\Vert {\vec{p}}_1{\Vert }^2}\cdot {\vec{p}}_1,\vec{b}=\frac{\vec{w}\cdot {\vec{p}}_2}{\Vert {\vec{p}}_2{\Vert }^2}\cdot {\vec{p}}_2$

从而，${\vec{p}}_3=\vec{w}-\vec{p}=\vec{w}-\frac{\vec{w}\cdot {\vec{p}}_1}{\Vert {\vec{p}}_1{\Vert }^2}\cdot {\vec{p}}_1-\frac{\vec{w}\cdot {\vec{p}}_2}{\Vert {\vec{p}}_2{\Vert }^2}\cdot {\vec{p}}_2$

---

推广到$n$维度空间

如果已知一组基:${\vec{v}}_1,{\vec{v}}_2,\cdots ,{\vec{v}}_n$，相应的求出这组基所代表的$n$维空间的一组正交基的过程就是:
${\vec{p}}_1={\vec{v}}_1$
${\vec{p}}_2={\vec{v}}_2-\frac{{\vec{p}}_1\cdot {\vec{v}}_2}{\Vert {\vec{p}}_1\Vert }\cdot {\vec{p}}_1$
${\vec{p}}_3={\vec{v}}_3-\frac{{\vec{p}}_1\cdot {\vec{v}}_3}{\Vert {\vec{p}}_1\Vert }\cdot {\vec{p}}_1-\frac{{\vec{p}}_2\cdot {\vec{v}}_3}{\Vert {\vec{p}}_2\Vert }\cdot {\vec{p}}_2$
${\vec{p}}_4={\vec{v}}_4-\frac{{\vec{p}}_1\cdot {\vec{v}}_4}{\Vert {\vec{p}}_1\Vert }\cdot {\vec{p}}_1-\frac{{\vec{p}}_2\cdot {\vec{v}}_4}{\Vert {\vec{p}}_2\Vert }\cdot {\vec{p}}_2-\frac{{\vec{p}}_3\cdot {\vec{v}}_4}{\Vert {\vec{p}}_3\Vert }\cdot {\vec{p}}_3$
…
${\vec{p}}_n={\vec{v}}_n-\frac{{\vec{p}}_1\cdot {\vec{v}}_n}{\Vert {\vec{p}}_1\Vert }\cdot {\vec{p}}_1-\frac{{\vec{p}}_2\cdot {\vec{v}}_n}{\Vert {\vec{p}}_2\Vert }\cdot {\vec{p}}_2-\frac{{\vec{p}}_3\cdot {\vec{v}}_n}{\Vert {\vec{p}}_3\Vert }\cdot {\vec{p}}_3-\cdots -\frac{{\vec{p}}_{n-1}\cdot {\vec{v}}_n}{\Vert {\vec{p}}_{n-1}\Vert }\cdot {\vec{p}}_{n-1}$

以上算法过程称为**“格拉姆-斯密特过程(Gram-Schmidt)”**。这样一步步计算出来的正交向量组${\vec{p}}_1,{\vec{p}}_2,\cdots ,{\vec{p}}_n$就是${\vec{v}}_1,{\vec{v}}_2,\cdots ,{\vec{v}}_n$这组基所代表的空间的正交基，进一步的对正交基的向量进行归一化$\hat{u}=\frac{1}{\Vert \vec{u}\Vert }\cdot \vec{u}$就可以得到空间的一组 标准正交基。