MIT 18.06 linear algebra 第十七讲笔记

MIT 18.06 linear algebra 第十七讲笔记

---

第十七课课程要点：

• Orthogonal basis $q_1,q_2....q_3$
• Orthogonal matrix $Q$
• Gram-Schmidt $A\rightarrow Q$
• Orthogonal normal vector

---

标准正交向量$q_1,q_2,....q_n$,$\begin{cases}0 \quad if\quad i\neq j\\ 1 \quad if \quad i=j\end{cases}$。

一个由标准正交向量组成的矩阵$Q$,$Q=\begin{bmatrix}\vdots&\vdots&\cdots&\vdots\\q_1&q2&\cdots&q_n\\\vdots&\vdots&\cdots&\vdots\end{bmatrix}$，那么容易证明$Q^TQ=I$。

如果$Q$是方阵，$Q^TQ=I$ 告诉我们$Q^T=Q^{-1}$。因为$Q$为方阵且各列都是正交的，那么意味着$Q$是可逆的，因此上述结论成立。

---

假设$Q$中的各个列都是标准正交的列向量，当有一个向量投影到$Q$的列空间上时，投影矩阵为：$P=Q(Q^TQ)^{-1}Q^T=QQ^T$，如果$Q$为方阵的话，投影矩阵就是单位阵$I$。因为$Q$如果是方阵且各列是标准正交的，那么$Q$可逆，且$Q$各列组成的列空间是整个空间，任何一个向量投影到这个空间，都等于向量自身，因此投影矩阵为单位阵。

上面的投影矩阵依旧满足$P^2=P$和$P^T=P$。

$(QQ^T)(QQ^T)=Q(Q^TQ)Q^T=QIQ^T=QQ^T$。证明完毕。

在前面的课程中我们求解$A^TA\hat{x}=A^Tb$，现在变为$Q^TQ\hat{x}=Q^Tb$。因而得出$\hat{x}=A^Tb$。$\hat{x_i}=q_i^Tb$，这说明了，如果是标准正交基，在第$i$个基方向上的投影就等于$q_i^Tb$。

现在我们可以发现求解$\hat{x}$变得十分容易。这也为后面将$A$转化为标准正交矩阵埋下了伏笔。

---

将向量组标准正交化：

Gram-Schmidt发明了此套理论。

首先我们将向量$a,b$转化为相互正交的向量$A,B$,然后再将其标准化。

图中先看向量$a,b$,首先我们需要将其正交化，我们可以选择$a$的方向不变，$a$也就变为A。接下来我们需要将向量$b$正交化，也就是转化为与$a$垂直的方向。前面我们知道将向量$b$投影到$a$上时，$b-p=e$，这个$e$也就是垂直于$a$的。$b$也就转化为$B$，$B=b-p=b-\frac{A^Tb}{A^TA}A$。我们可以验证一下，$A^TB=A^T(b-\frac{A^Tb}{A^TA}A)=0$。再有一个向量$c$时，正式我们需要将将与$A,B$正交。$C=c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B^TB}B$。这时我们再将$A,B,C$标准化即可。$\frac{A}{||A||},\frac{B}{||B||},\frac{C}{||C||}$。

如果我们仔细思考一下可以发现，$Q$的列空间和$A$的列空间是一样的。只是用来表示这个空间的一组基不同而已，一组标准正交，另一组非标准正交而已。

前面的课程中我们通过消元法将矩阵变为上三角矩阵。即$A=LU$。现在的矩阵$Q$也是通过变换而来的。$A=QR$,$R=Q^TA$,继而$R=\begin{bmatrix}q_1^Ta_1&q_1^Ta2\\q_2^Ta_1&q_2^Ta_2\end{bmatrix}$。(这里假设$A=[a_1,a_2]$,$Q=[q_1,q_2]$)因为我们知道$q_2$的正交是以$q_1$为基础的因此$q_2^Ta1=0$,因此$R$为上三角矩阵。虽然这里举的例子$A$和$Q$中都只有两个向量，有更多向量的情形是类似的，$q_i^Ta_j$只有在$j>i$的时候为0。