MIT线性代数笔记十七讲 正交矩阵和施密特正交化

  本节是“正交”部分的最后内容。Gram-Schmidt 过程可以将原空间的一组基转变为标准正交基。

1. 标准正交向量 Orthonormal vectors

  满足如下条件的向量$q_1,q_2\dots ,q_n$为标准正交向量：
$$q_i^T{q}_j=\{\begin{array}{l}0,i\ne j\\ 1,i=j\end{array}$$

  换而言之，它们都具有单位长度 1，并且彼此正交。标准正交向量是线性无关的。很多线性代数的计算都建立在标准正交基础上，它让一切变得简单可控(从来不上溢或者下溢)。

2. 标准正交矩阵 Orthonormal matrix

  如果矩阵$Q$的列向量为标准正交向量，则$Q^{T}Q=I$为单位阵。

$$Q^{T}Q=I$$

  注意这里的矩阵$Q$可以不是方阵。我们已经学过了一系列矩阵，包括三角阵、对角阵、置换矩阵、对称矩阵、行最简梯形矩阵、投影矩阵等等，现在有了“标准正交”矩阵。

  一个标准正交的方阵我们称之为“正交矩阵”（orthogonal matrix）。如果$Q$为方阵，因为 $Q^{T}Q=I$，所以 $Q^T=Q^{-1}$。 注意必须是方阵，必须是标准正交，而不只是正交。

  N：当矩阵为标准正交矩阵，而且为方阵时，才称为是正交矩阵。

  例如，置换矩阵$Q=\left[\begin{array}{lll}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]$，则有$Q^T=\left[\begin{array}{lll}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]$，两者皆为正交矩阵，并且两者乘积为单位阵。

  再例如，$Q=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$为正交矩阵。而矩阵$\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$并不是正交矩阵，而通过调整得到的矩阵 $Q=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$为正交矩阵，在矩阵外面要除以向量的长度。

  再例如，$Q=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\end{array}\right]$，也是由-1 和+1 组成的正交矩阵，这种类型的矩阵称之为阿达玛 Hadamard 矩阵，不同阶数矩阵性质不同并且没有规律，无从判断几阶的阿达玛矩阵为正交阵。

  再给一个长方形矩阵的例子，其列向量为标准正交：
  $Q=\frac{1}{3}\left[\begin{array}{ll}1& -2\\ 2& -1\\ 2& 2\end{array}\right]$，我们可以拓展其成为正交矩阵$\left[\begin{array}{ccc}1& -2& 2\\ 2& -1& -2\\ 2& 2& 1\end{array}\right]$

3. 标准正交列向量的优势 Orthonormal columns are good

  若$Q$的列向量为标准正交向量，则投影到$Q$的列空间的投影矩阵为：
$$P=Q(Q^{T}Q{)}^{-1}{Q}^T$$

  证明如下：
$$\begin{array}{c}{A}^{T}A\hat{x}=A^{T}b\\ A\hat{x}=p\\ p=Pb\end{array}$$

$$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$$

$$A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b$$

$$P=A(A^{T}A{)}^{-1}{A}^T$$

$$P=Q(Q^{T}Q{)}^{-1}{Q}^T$$

  因为$Q^{T}Q=I$，所以$P=Q{Q}^T$。 这种情况会降低很多运算量。

  如果$Q$为方阵，则$P=I$，因为$Q$的列向量线性无关，$Q$的列向量张成了整个空间，投影过程不会对向量有任何改变。当Q为方阵时，$Q^{-1}=Q^T$。

  投影矩阵的性质为：投影矩阵为对称矩阵($P^T=P$)；如果投影两次，还会在原有的位置($P^2=P$)，代入即为$(Q{Q}^T)(Q{Q}^T)=(Q{Q}^T)$。这是由于$Q^{T}Q=I$。

  在很多复杂问题中使用标准正交向量之后都变得简单。如果基为标准正交，则方程$A^{T}A\hat{x}=A^{T}b$ ->$Q^{T}Q\hat{x}=Q^{T}b$的解变为 $\hat{x}=Q^{T}b$， $\hat{x}$的分量 $\widehat{x_i}$就等于 $q_i^{T}b$。

4. 施密特正交化 Gram-Schmidt(A->Q)

  

  从两个线性无关的向量 a 和 b 开始，它们张成了一个空间，我们的目标是希望找到两个标准正交的向量$q_1$，$q_2$能张成同样的空间。Schmidt 给出的结论是如果我们有一组正交基 A 和 B，那么我们令它们除以自己的长度就得到标准正交基：

$$q_1=\frac{A}{\Vert A\Vert },q_2=\frac{B}{\Vert B\Vert }$$

  Gram 做了重要的工作，令 A=a，我们在 a 和 b 张成的空间中，取与 A 正交向量做成标准正交基，方法就是将 b 投影到 a 的方向，然后取$B=b-p$（B 就是之前谈论过的误差e 的方向）

$$B=b-\frac{A^{T}b}{A^{T}A}A$$，注意这个小节中 A，B，C 均为向量。

  如果从等式两端左乘$A^T$，可以得到 $A^{T}B=0$。
  如果从三个线性无关的向量 a、 b 和 c 出发，则可以通过从 c 中减去其在 A 和B两个方向的投影来得到C。

$$C=c-\frac{A^{T}c}{A^{T}A}A-\frac{B^{T}c}{B^{T}B}B$$

  例如$a=\left[\begin{array}{l}1\\ 1\\ 1\end{array}\right],b=\left[\begin{array}{l}1\\ 0\\ 2\end{array}\right]$，则有$A=a，B=\left[\begin{array}{l}1\\ 0\\ 2\end{array}\right]-\frac{3}{3}\left[\begin{array}{l}1\\ 1\\ 1\end{array}\right]=\left[\begin{array}{l}0\\ 1\\ -1\end{array}\right]$，验证计算得到$A^{T}B=0$。

  写出$q_1，q_2$所组成的矩阵为：
$$Q=\left[\begin{array}{ll}{q}_1& q_2\end{array}\right]=\left[\begin{array}{cc}\frac{1}{\sqrt{3}}& 0\\ \frac{1}{\sqrt{3}}& \frac{-1}{\sqrt{2}}\\ \frac{1}{\sqrt{3}}& \frac{1}{\sqrt{2}}\end{array}\right]$$

  $Q$列向量的空间就是 a 和 b 张成的空间。 因此矩阵 Q 和矩阵 $A=\left[\begin{array}{ll}1& 1\\ 1& 0\\ 1& 2\end{array}\right]$有相同的列空间。

  Q的列空间与A的列空间是什么关系呢？它们是同一个列空间。

  在消元过程中，我们可以对矩阵进行分解得到$A=LU$，而在对$A$做施密特正交化的过程也可以用矩阵运算的方式表示为$A=QR$。此处$R$为上三角阵。

  $R$为上三角阵，则$a_1^T{q}_2=0$。这是因为$a_1$就是$q_1$的方向，而$q_1$和$q_2$为标准正交向量，因此 $q_2$ 的方向与 $a_1$垂直，因此内积为 0。$R$ 在$Q$右侧相当于对 Q 做列操作，即$A$的列向量是$Q$列向量的线性组合，而$Q$为$A$ 列空间的一组标准正交基，则 $R$的元素实际上是$A$的列向量基于$Q$ 这组标准正交基的权。

  左下角为0，但需要注意的是右上角并不一定为0。

  采用矩阵的 QR 分解来帮助求解$Ax=b$的问题，最大的优势是提高了数值的稳定性。