MIT 线性代数 Linear Algebra 17: 正交矩阵和Gram-Schmidt正交化手续

之前我们已经探讨过正交向量和正交space并且探讨了怎么把一个vector投影到一个subspace里。在这一讲里，我们会强化之前的学习，特别的，我们讨论一类特别的矩阵：正交矩阵。当一个subspace的一组基选用正交矩阵时 (即，基之间两两正交且长度均为 1)，我们之前的计算将会被大大简化。这是正交矩阵带给我们的好处。

注意，正交矩阵我们叫orthogonal matrix 但是含义是他的列是orthonormal的。

什么是正交矩阵

正交矩阵 ${\mathbf{Q}}_{m\times n}$ 是拥有 orthonormal columns 的矩阵. 假设 ${\mathbf{Q}}_{m\times n}$ 的列是 ${\mathbf{q}}_1$, ${\mathbf{q}}_2$, …, ${\mathbf{q}}_{\mathbf{n}}$, 则
$${\mathbf{q}}_{\mathbf{i}}^{\top }{\mathbf{q}}_{\mathbf{j}}=\{\begin{array}{ll}0& \text{if}i\ne j\\ 1& \text{if}i=j\end{array}(1)$$

实际上，正交矩阵的各列就是 ${\mathbb{R}}^m$ 空间中的一个subspace ${\mathbb{R}}^n$ 的一组 orthonormal bases。

正交矩阵有很好的性质：

• ${\mathbf{Q}}^{\top }\mathbf{Q}={\mathbf{I}}_{\mathbf{n}}$ 这从矩阵乘法的定义和 (1) 中很容易看出。
• 当 $\mathbf{Q}$ 是一个方阵时，${\mathbf{Q}}^{-1}={\mathbf{Q}}^{\top }$

一个简单的例子是 permutation matrices，之前我们就说过 permutation matrix 的 inverse 很好求，就是他自己的转置。这背后的原因是，permutation matrices 本身是正交矩阵。因为它们是单位阵 row exchange 的结果。

正交矩阵带来了什么

好，接下来我们看下 how does the orthogonal matrix make our life easier. Prof. Strang 用的是之前 projection 课程中的例子。

我们之前讲过，如果把一个vector $\mathbf{b}$ 投影到矩阵 $\mathbf{A}$ 的column space上，投影矩阵 $\mathbf{P}$ 和 投影后得到的vector $\mathbf{d}$ 为
$$\mathbf{P}=\mathbf{A}({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}{\mathbf{A}}^{\top }$$

$$\mathbf{d}=\mathbf{A}({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}{\mathbf{A}}^{\top }\mathbf{b}$$

现在，如果我们假设 $\mathbf{A}$ 是一个正交阵，即我们选取subspace的一组orthonormal basis 组成 $\mathbf{A}=\mathbf{Q}$，则有
$$\mathbf{P}=\mathbf{Q}{\mathbf{Q}}^{\top }$$

$$\mathbf{d}=\mathbf{Q}{\mathbf{Q}}^{\top }\mathbf{b}$$

可以看出计算被大大简化了。而且 $\mathbf{Q}{\mathbf{Q}}^{\top }$ 确实是一个 projection
matrix，symmetric，${\mathbf{P}}^i=\mathbf{P}$ 都是满足的。

注意此时 $\mathbf{Q}{\mathbf{Q}}^{\top }$ 没法继续化简了，除非 $\mathbf{Q}$ 是一个方阵 $\mathbf{Q}{\mathbf{Q}}^{\top }=\mathbf{I}$。这个结论显然正确，因为 $\mathbf{Q}$是一个方阵时，他的column space是整个空间，投影结果还是原来的 $\mathbf{d}=\mathbf{b}$.

怎样得到正交阵

正交阵确实很好，但是怎么得到正交阵尼？Gram and Schmidt 给出了下面两个processes 让我们从一个列满秩矩阵得到一个正交阵。

假设我们有一个列满秩矩阵 $[{\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{n}}{]}^{\top }$ 其中 ${\mathbf{a}}_{\mathbf{i}}$ 是各列.

• 首先，我们尝试得到一组正交的向量 ${\mathbf{A}}_1,{\mathbf{A}}_2,...,{\mathbf{A}}_{\mathbf{n}}$.
• 然后我们直接对正交向量归一化即可
  $${\mathbf{q}}_{\mathbf{i}}={\mathbf{A}}_{\mathbf{n}}/\Vert {\mathbf{A}}_{\mathbf{n}}\Vert$$

这些 ${\mathbf{q}}_{\mathbf{i}}$ 便是我们target vectors。

好，难点其实在第一步，怎么由 ${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{n}}$ 得到 ${\mathbf{A}}_1,{\mathbf{A}}_2,...,{\mathbf{A}}_{\mathbf{n}}$。

1. ${\mathbf{a}}_1$ 方向我们不动 ${\mathbf{A}}_1={\mathbf{a}}_1$，从他开始构造其他向量。

2. ${\mathbf{a}}_2$ 的构造方法其实就是把 ${\mathbf{a}}_2$ 投影到 ${\mathbf{a}}_1$ 上，只不过我们不要投影后的向量 $\mathbf{d}$, 而是要法向量 ${\mathbf{A}}_2=\mathbf{e}={\mathbf{a}}_2-\mathbf{d}$, 因为法向量是和 $a_1$ 正交的。
   $${\mathbf{A}}_2={\mathbf{a}}_2-\frac{{\mathbf{A}}_1{{\mathbf{A}}_1}^{\top }}{{{\mathbf{A}}_1}^{\top }{\mathbf{A}}_1}{\mathbf{a}}_2={\mathbf{a}}_2-{\mathbf{A}}_1\frac{{{\mathbf{A}}_1}^{\top }{\mathbf{a}}_2}{{{\mathbf{A}}_1}^{\top }{\mathbf{A}}_1}$$

3. ${\mathbf{a}}_3$ 的构造那就是投影到 ${\mathbf{A}}_1$, ${\mathbf{A}}_2$ 确定的 subspace 上，直接给出公式
   $${\mathbf{A}}_3={\mathbf{a}}_3-{\mathbf{A}}_1\frac{{{\mathbf{A}}_1}^{\top }{\mathbf{a}}_3}{{{\mathbf{A}}_1}^{\top }{\mathbf{A}}_1}-{\mathbf{A}}_2\frac{{{\mathbf{A}}_2}^{\top }{\mathbf{a}}_3}{{{\mathbf{A}}_2}^{\top }{\mathbf{A}}_2}$$

and so on so forth 就能得到一组 ${\mathbf{A}}_1,{\mathbf{A}}_2,...,{\mathbf{A}}_{\mathbf{n}}$。

QR 分解

实际上 Gram-Schimdt process 是一个把列满秩矩阵 QR 分解的过程。

QR分解是说，任意一个实数方阵都能被分解为一个正交阵乘以上三角矩阵的形式 (非方阵和非实数情况也能QR分解，这里不详细讨论)。
$$A=QR$$

Gram-Schimdt process 能把一个列满秩矩阵变为正交阵， 所以用 Gram-Schimdt process只能处理满秩矩阵的QR分解。