11正交矩阵和Gram-Schmidt正交化法

转载自：https://blog.csdn.net/huang1024rui/article/details/69568991

这是关于正交性最后一讲，已经知道正交空间，比如行空间和零空间，今天主要看正交基和正交矩阵

1.标准正交基与正交矩阵

---

1.定义标准正交向量（orthonormal）： $q^T_iq_j= \begin{cases} 0& \text{i!=j}\\ 1& \text{i=j} \end{cases}$

2.将标准正交向量放入矩阵中,有$Q=\begin{bmatrix} q_1 &q_2 &… &q_n \end{bmatrix}$ ，计算$Q^TQ$

$$Q^TQ =\begin{bmatrix} 1 & 0 & ... & 0\\ 0 & 1 & ... & 0\\ \vdots & \vdots& \ddots & \vdots \\ 0& 0 & \cdots & 1 \end{bmatrix}=I$$

我们也把$Q$成为标准正交矩阵（orthonormal matrix）

---

标准正交基

例1:

例2：

$$Q=\frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 1\\ 1 & -1 \end{bmatrix}$$

上面矩阵列向量长度为1，列向量相互正交。

例3：

$$Q^{{}'}=c\begin{bmatrix} Q & Q\\ Q & -Q \end{bmatrix}$$

上面矩阵取合适的c使得矩阵的列向量长度为1，也可以构造标准正交矩阵。构造结果如下：

$$Q=\frac{1}{2}\begin{bmatrix} 1& 1 & 1&1 \\ 1 & -1 & 1 & -1\\ 1 & 1 & -1 & -1\\ 1 & -1 & -1 & 1 \end{bmatrix}$$

这种构造方法以阿德玛（Adhemar）命名，对2,4,16,64,⋯阶矩阵有效。

格拉姆-施密特正交化法的缺点在于，由于要求得单位向量，所以我们总是除以向量的长度，这导致标准正交矩阵中总是带有根号，而上面几个例子很少有根号。

标准正交矩阵

$Q^TQ$对任意的$Q$都成立，但我们更关注$Q$为方阵时的情况，因为其有逆且由$Q^TQ=I⇒Q−1=Q^T$，我们叫这种column vector为标准正交向量组成且为方阵的矩阵为**正交矩阵**orthogonal matrix。

注意：标准正交矩阵 orthogonormal matrix不一定是方阵，当它是方阵的时候，我们叫它正交矩阵 orthogonal matrix。

---

1.2正交矩阵

为什么我们如此关注标准正交矩阵 orthogonormal matrix为方阵 的情形？

上一讲我们研究了$A^TA$的特性，联系我们之前学习的投影矩阵projection matrix，将向量$b$投影在标准正交矩阵Q的列空间中，根据上一讲的公式得$P=Q(Q^TQ)^{−1}Q^T$，由于标准正交矩阵Q的性质，易得$P=QQ^T$。

我们断言，当列向量为标准正交基时，$QQ^T$是投影矩阵。极端情况，假设矩阵是方阵，而其列向量是标准正交的，则其列空间就是整个向量空间，而投影整个空间的投影矩阵就是单位矩阵，此时$QQ^T=I$。

我们计算的$A^TAx^=A^Tb$，现在变为$Q^TQ\hat{x}=Q^Tb$，也就是$x^=Q^Tb$，分解开来看就是$\hat{x}q_i^T=q^T_ib$，这个式子在很多数学领域都有重要作用。当我们知道标准正交基，则解向量第$i$个分量为基的第$i$个分量乘以b，在第$i$个基方向上的投影就等于$q^T_ib$。

2. Gram-Schmidt正交化法

这是一种将矩阵转化为标准正交向量orthogonormal matrix的方法。按老师的说法Schmidt教我们如何将一个向量标准化normalized，而Graham教我们如何使得各个向量正交orthogonal。

总思路： 已知相互无关的向量$a,b$，目标要将$a,b$变成相互正交且长度为1的$q_1,q_2$，可将向量$a$ 固定，然后$b$投影到$a$上，误差$e=b$.