17正交矩阵和Gram-Schmidt正交化

一、标准正交向量（Orthonormal Vector）

在$\mathbb{R}$ 中，两个向量内积（Inner product）和点积（Dot product）是同一个概念，也就是内积与点积一样。但在 $\mathbb{C}$中，点积仍然被定义为对应元素相乘，而内积则被附加了共轭以保证物理性质。

对于两个向量 $v$ 和 $w$，如果它们之间的内积为0，那么它们被称为正交。如果它们的长度是标准的1，那么这两向量除了正交还被赋予标准的“title”。也就是这两个向量是互为标准正交向量。如果把多个标准向量放在一个集合中，那么集合叫做标准向量组（集合）。设$q$是标准正交向量组的任意向量，那么：
$$q_i^T{q}_j=\{\begin{array}{rl}& 0(i\ne j)\\ & 1(i=j)\end{array}\text{\hspace{1em}(1)}$$

将向量$q_1$ $q_2$ $\cdots$ $q_n$作为矩阵的列按顺序组合成一个新的矩阵，记为$M$，显然：

• $M^{T}M=I$
  $$\begin{gathered} M^{T}M={\left[\begin{array}{cc}{q}_1& q_2\cdots q_n\end{array}\right]}^T\left[\begin{array}{cc}{q}_1& q_2\cdots q_n\end{array}\right] \\ =\left[\begin{array}{c}{q}_1^T\\ q_2^T\\ ⋮\\ q_n^T\end{array}\right]\left[\begin{array}{cc}{q}_1& q_2\cdots q_n\end{array}\right]=\left[\begin{array}{cccc}{q}_1^T{q}_1& q_1^T{q}_2& \cdots & q_1^T{q}_n\\ q_2^T{q}_1& q_2^T{q}_2& \cdots & q_2^T{q}_n\\ ⋮& ⋮& ⋮& ⋮\\ q_1^T{q}_1& q_1^T{q}_2& \cdots & q_1^T{q}_n\end{array}\right]=\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& 0& \cdots & 1\end{array}\right]=I \end{gathered}$$

如果一个矩阵是由标准正交向量组成的，它不能被称为标准正交矩阵。因为线性代数规定一个标准正交向量必须是一个方阵，只有“方方正正”才能被称为标准正交矩阵，简称正交矩阵（Orthogonal matrix），记为$Q$。

我们在谈论正交矩阵时，意味着我们在讨论的是标准正交矩阵，也就是$Q$

对于一个正交矩阵$Q$，因为$Q^{T}Q=I$，所以：
$$Q^T=Q^{-1}$$

验证一下正交矩阵$Q$的逆等于$Q^T$：
$$Q{Q}^T=\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]=I$$
看上去确实如此。

正交矩阵$Q$是由单位正交向量组成的方阵，如果有一列不为单位向量，那么他就不可能是正交矩阵。

再来看另一个例子：
$$\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$$
随着$\theta$的变换，能形成无数多个正交矩阵。

如果一个矩阵是一个正交矩阵，那么：

• 逆矩阵和转置相等。$Q^T=Q^{-1}$；
• 任意列向量与非自身列向量正交；
• 任意列向量长度为1；
• 行列式为1或者-1；

为什么正交矩阵行列式不是-1就是1？证明的关键在于矩阵转置不改变矩阵的行列式。因为 $Q{Q}^T=I$ 所以有 $|Q||Q^T|=1$，结合矩阵转置不改变行列式的逆，所以有：$|Q{|}^2=1$，也就是$|Q|=\pm 1$，问题得证。

二、正交矩阵带来的简化

2.1 求解线性方程组的简化

对于线性方程组：
$$Ax=b$$
如果 $A=Q$ 那么有：
$$Qx=b$$
因为 $Q^{-1}=Q^T$ ，所以：
$$x=Q^{T}b$$
也就是说如果系数矩阵 $A$ 是一个正交矩阵，我们通过逆解来求得方程组的解，方程组的解可以通过系数矩阵列向量点乘 $b$ 向量给出。

2.2 投影矩阵$P$

如果投影的子空间对应的列向量是一个正交矩阵 $Q$ ，那么对应的投影矩阵 $P$ 是一个单位向量。

$$P=A(A^{T}A{)}^{-1}{A}^T$$
如果矩阵$A$是一个$Q$，那么：
$$P=Q(Q^{T}Q{)}^{-1}{Q}^T=I$$
正交矩阵的投影矩阵$P$是单位矩阵，也就是：
$$p=Pb=b$$
这个告诉我们，如果一个向量往一个单位正交列向量构成的子空间投影，那么向量后将会保持不变。

2.3 线性拟合方程

不仅对于$Ax=b$ 有解情况有所简化，对于拟合方程组也会带来简化：
$$A^{T}b=A^{T}A\hat{x}$$
若$A$是一个$Q$，那么：
$$Q^{T}b=Q^{T}Q\hat{x}$$
因为$Q^{T}Q=I$，所以：
$$\hat{x}=Q^{T}b$$

对于$\hat{x}$的每一个分量$x_i$有：
$$x_i=q_i^{T}b$$
也就是说，一个正交矩阵的列向量与$b$的点积为$x_i$的一个结果。

三、Gram-Schmidt正交化

与前面的的矩阵分解为上三角函数不同，这一次我们将对矩阵进行正交化，使得矩阵中的列向量组是正交向量组，也就是正交矩阵：

• 长度为1
• 相互正交

假如我们有一组线性无关的向量$a$和$b$：

显然这两个向量的不是一组正交单位向量组，怎么将这两个向量转换成正交向量$A$和$B$?

联系之前学的投影知识，把$b$投影至$a$，再将$b$投影至与$a$正交的向量上：

可以取：
$$\begin{gathered} A=a \\ B=b-\frac{A^{T}b}{A^{T}A}A \end{gathered}$$
这样一来，两个非正交的向量组$a$ $b$就求得了正交向量组$A$ $B$。此时，向量$A$和向量$B$并不是正交的，所以需要对他们进行单位化操作：

Schmidt给出了单位化两个向量的方法：
$$q_1=\frac{A}{||A||}{q}_2=\frac{B}{||B||}$$

个人理解，给定任意线性无关的向量组$A$，我们都能找到与之对应的线性无关正交向量组$A^{\prime }$。

对于三个线性无关的向量又该如何进行正交化？

一样的思路：

• 将$a$向量直接作为正交向量组的第一个向量
  $$A=a$$
• 考虑$b$，将向量$b$向$A$得到投影向量$p$，与向量$A$正交的向量记为$B$，同时也是要求的第二个向量：
  $$B=b-\frac{A^{T}b}{A^{T}A}A$$
• 考虑$c$，将$c$分别投影至两个向量，得到$p_1$和$p_2$，因为$C+p_1+p_2=c$，故：
  $$C=c-\frac{A^{T}c}{A^{T}A}A-\frac{B^{T}c}{B^{T}B}B$$
• 最后别忘了对他们进行单位化
  $$q_1=\frac{A}{||A||}{q}_2=\frac{B}{||B||}{q}_3=\frac{C}{||C||}$$

最后举一个简单的例子：

假设有两个线性无关的向量$a=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$和$b=\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]$，利用Gram-Schmidt求其对应的正交矩阵。

简单的套用公式:
$$\begin{gathered} A=a \\ B=b-\frac{A^{T}b}{A^{T}A}A \end{gathered}$$
容易得：
$$A=a=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]B=\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]-\frac{3}{3}\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]=\left[\begin{array}{c}0\\ -1\\ 1\end{array}\right]$$
最后将其正交化，得到正交矩阵$Q$
$$Q=\left[\begin{array}{cc}{q}_1& q_2\end{array}\right]=\left[\begin{array}{cc}1/\sqrt{3}& 0\\ 1/\sqrt{3}& -1/\sqrt{2}\\ 1/\sqrt{3}& 1/\sqrt{2}\end{array}\right]$$
对比正交前矩阵$A$：
$$A=\left[\begin{array}{cc}1& 1\\ 1& 0\\ 1& 2\end{array}\right]$$
为什么我们将矩阵$A$变成更加复杂得（有很多根号）的正交矩阵？

• 正交化后矩阵的列空间与变化前相同

从矩阵分解的角度，消元法是$A=LU$，而正交化则是$A=QR$，其中$R$矩阵是一个上三角矩阵。

对于上面这个例子，$A=QR$分解其实是：
$$A=\left[\begin{array}{cc}{a}_1& a_2\end{array}\right]$$
$$Q=\left[\begin{array}{cc}{q}_1& q_2\end{array}\right]$$
$$R=\left[\begin{array}{cc}{a}_1^T{q}_1& a_2^T{q}_1\\ a_1^T{q}_2& a_2^T{q}_2\end{array}\right]$$
显然$q_1$在$a_1$上，所以不为0，但是$q_2$与$a_1$正交，故$a_1^T{q}_2=0$，也就是：
$$R=\left[\begin{array}{cc}{a}_1^T{q}_1& a_2^T{q}_1\\ 0& a_2^T{q}_2\end{array}\right]$$
确实是一个上三角矩阵。