MIT18.06线性代数课程笔记17：正交标准矩阵

课程简介

18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。

课程笔记

先给出正交标准矩阵的定义，然后讨论其性质，最后给出一个构造正交标准矩阵的方法。

1. 正交标准矩阵 Orthonormal Matrix

当一个矩阵$Q$满足$Q^TQ=I$，则称其为orthonormal的。
具体地，设$Q_{n\times m}=[q_1,q_2,\cdots,q_m]$，则有$q_i^Tq_j=0, i\neq j$，此为正交；以及$q_i^Tq_i=1$，此为标准。
即所有列向量之间正交，而且每个列向量长度为1。

2. 相关性质

若$Q$为方阵，则$Q^{-1}=Q^T$。
$Q$列满秩，因为正交必然不相关。
到column space的投影矩阵$P=Q(Q^TQ)^{-1}Q^Tx=QQ^Tx$。也可以通过$p = \sum_{i=1}^{m}(q_i^Tx)q_i$得到，即等于投影到各个列向量的和，因为各个列向量是正交的。

3. 构造正交标准矩阵

具体地，从任意矩阵$A_{n\times m}$，构造矩阵$Q$满足$C(A)=C(Q)$而且$Q^TQ=I$。为了简化步骤，假设$A$列满秩。
方法非常简单，逐渐增加基向量的数量，一直满足基向量长度为1，相互正交。
初始状态加入归一化的第一列到基向量集合。
第$i$步（$2\le i \le m$）加入向量$a_i-Pa_i$长度为1的结果。其中$P$为已有基向量构造子空间的投影矩阵。
最终基向量并起来的矩阵即为$Q$。
注意到上诉做法均为对$A$列向量的线性组合，所以column space不变。同时所有的变化可以表示为可逆的变化矩阵$M$，满足$Q=AM$。进而存在矩阵$R=M^{-1}$满足$A=QR$。因为上诉构造方法中第$i$步只使用$A$的前$i$个列向量，所以$R$是上三角矩阵。上三角的性质也可以通过$r_{ij} = a_j^Tq_i$验证。