[矩阵的QR分解系列一] 施密特(Schmidt)正交规范化

之前介绍的矩阵的三角分解系列介绍了利用矩阵初等变换解决了矩阵三角化问题以及具体的三角分解。但是以初等变换工具的三角分解方法并不能消除病态线性方程组不稳定问题，而且有时候对于可逆矩阵有可能也不存在三角分解。所以后面为了解决这里问题，发展出来了以正交(酉)变换的矩阵的QR(正交三角)分解，矩阵的正交三角分解是一种对任何可逆矩阵均存在理想分解。进行QR分解需要用到施密特(Schmidt)正交规范化，吉文斯(Givens)变换和豪斯霍尔德(Householder)变换等。这里矩阵的QR分解系列教程主要是针对在学习QR分解时候的涉及到的一些细节，包括很多方法的来源和证明等，以及其中用到的一些矩阵操作的基础知识，主要包括：

• [矩阵的QR分解系列一] 施密特(Schmidt)正交规范化
• [矩阵的QR分解系列二] 吉文斯(Givens)变换
• [矩阵的QR分解系列三] 豪斯霍尔德(Householder)变换
• [矩阵的QR分解系列四] QR(正交三角)分解
• [矩阵的QR分解系列五] Eigen中的QR分解

这个系列后面文章会用到前面文章的理论和技术，所以建议按照顺序查看。

简介

在矩阵操作中，经常需要从一组线性无关的向量构造出一组同等个数等价的两两正交的向量，并且需要使每个向量的模等于1，也就是每个新向量都是单位向量，这种做法叫做线性无关向量组的正交规范化。本文主要介绍的施密特（Schmidt）正交化方法就是比较常用的正交规范化方法。
上面有几个概念解释一下：
线性无关
对于一组向量${\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{n}}(n\ge 1)$来说，只有$k_1,k_2,...,k_n(n\ge 1)$全为0时才满足
$$k_1{\mathbf{x}}_1+k_2{\mathbf{x}}_2+\dots ＋k_n{\mathbf{x}}_{\mathbf{n}}=0,k_i\in R$$
则称向量组${\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{n}}$线性无关，否则就称其线性相关。
向量正交
在解析几何概念中，两个非零向量正交的充要条件是它们夹角的余弦值为零，也就是他们的内积（也就是常说的点积）为零。
$\mathbf{x}=(x_1,x_2,\dots ,x_n),\mathbf{y}=(y_1,y_2,\dots ,y_n)$为欧式空间的两个向量，如果$(\mathbf{x},\mathbf{y})=0$，则$\mathbf{x}$与$\mathbf{y}$正交。其中
$$(\mathbf{x},\mathbf{y})=x_1{y}_2+x_2{y}_2+\cdots +x_n{y}_n\text{\hspace{1em}(1)}$$
表示内积运算。
同时内积具有下面的性质：

1. 对称性　　$(\mathbf{x},\mathbf{y})=(\mathbf{y},\mathbf{x})$；
2. 可加性　　$(\mathbf{x}+\mathbf{z},\mathbf{y})=(\mathbf{x},\mathbf{y})+(\mathbf{z},\mathbf{y})$；
3. 齐次性　　$(k\mathbf{z},\mathbf{y})=k(\mathbf{x},\mathbf{y})$，$k$为任何实数；
4. 非负性　　$(\mathbf{x},\mathbf{x})\ge 0$；当且仅当$\mathbf{x}=0$时，$(\mathbf{x},\mathbf{x})＝0$；

规范化步骤

假设${\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{n}}(n\ge 1)$为一组线性无关的向量，${\mathbf{z}}_1,{\mathbf{z}}_2,...,{\mathbf{z}}_{\mathbf{n}}(n\ge 1)$为施密特正交规范后两两正交的一组，具体步骤为：

1. ${\mathbf{y}}_1={\mathbf{x}}_1$当做正交向量组的第一个向量，为了满足正交的条件，后面的生成的向量都要和${\mathbf{y}}_1$正交，也就是满足$({\mathbf{y}}_{\mathbf{i}},{\mathbf{y}}_1)=0,i=2,3,\dots ,n$。更一般话来说后面生成的向量都需要保证和前面已经生成的向量正交，同时这也是一步步求解后面正交向量的约束和条件。
2. ${\mathbf{y}}_2={\mathbf{x}}_2+k_{21}{\mathbf{y}}_1$，由正交条件$({\mathbf{y}}_2,{\mathbf{y}}_1)=0$得到
   $$({\mathbf{y}}_2,{\mathbf{y}}_1)=({\mathbf{x}}_2+k_{21}{\mathbf{y}}_1,{\mathbf{y}}_1)=({\mathbf{x}}_2,{\mathbf{y}}_1)+k_{21}({\mathbf{y}}_1,{\mathbf{y}}_1)=0$$
   所以
   $$k_{21}=-\frac{({\mathbf{x}}_2,{\mathbf{y}}_1)}{({\mathbf{y}}_1,{\mathbf{y}}_1)}$$
3. ${\mathbf{y}}_3={\mathbf{x}}_3+k_{32}{\mathbf{y}}_2+k_{31}{\mathbf{y}}_1$，由正交条件$({\mathbf{y}}_3,{\mathbf{y}}_2)=0$及$({\mathbf{y}}_3,{\mathbf{y}}_1)=0$得到
   $$\begin{array}{rl}({\mathbf{y}}_3,{\mathbf{y}}_2)& =({\mathbf{x}}_3+k_{32}{\mathbf{y}}_2+k_{31}{\mathbf{y}}_1,{\mathbf{y}}_2)\\ & =({\mathbf{x}}_3,{\mathbf{y}}_2)+k_{32}({\mathbf{y}}_2,{\mathbf{y}}_2)+k_{31}({\mathbf{y}}_1,{\mathbf{y}}_2)\\ & =({\mathbf{x}}_3,{\mathbf{y}}_2)+k_{32}({\mathbf{y}}_2,{\mathbf{y}}_2)=0\end{array}$$
   所以
   $$k_{32}=-\frac{({\mathbf{x}}_3,{\mathbf{y}}_2)}{({\mathbf{y}}_2,{\mathbf{y}}_2)}$$
   同理
   $$k_{31}=-\frac{({\mathbf{x}}_3,{\mathbf{y}}_1)}{({\mathbf{y}}_1,{\mathbf{y}}_1)}$$
4. 按照上面的流程一直向下求${\mathbf{y}}_{\mathbf{i}}$，一般公式为
   $$\{\begin{array}{l}{\mathbf{y}}_{\mathbf{i}}={\mathbf{x}}_{\mathbf{i}}+k_{i,i-1}{\mathbf{y}}_{\mathbf{i}-1}+k_{i,i-2}{\mathbf{y}}_{\mathbf{i}-2}+\cdots +k_{i,1}{\mathbf{y}}_1,\\ k_{i,k}=-\frac{({\mathbf{x}}_{\mathbf{i}},{\mathbf{y}}_{\mathbf{k}})}{({\mathbf{y}}_{\mathbf{k}},{\mathbf{y}}_{\mathbf{k}})}\end{array}\text{\hspace{1em}(2)}$$
   直到$i=n$，所以就得到了一组向量${\mathbf{y}}_1,{\mathbf{y}}_2,...,{\mathbf{y}}_{\mathbf{n}}$，里面的向量显然是两两正交的。
5. 上面得到一组两两正交的向量${\mathbf{y}}_1,{\mathbf{y}}_2,...,{\mathbf{y}}_{\mathbf{n}}$后，进行单位化，也就是
   $${\mathbf{z}}_{\mathbf{i}}=\frac{{\mathbf{y}}_{\mathbf{i}}}{|{\mathbf{y}}_{\mathbf{i}}|},i=1,2,\dots ,n.$$
   这样就得到了正交规范化的向量组了。

例子

利用施密特正交化方法把下面线性无关的向量组转化为正交规范化向量组。
$$\{\begin{array}{l}{\mathbf{x}}_1=(1,1,0,0),\\ {\mathbf{x}}_2=(1,0,1,0),\\ {\mathbf{x}}_3=(-1,0,0,1),\\ {\mathbf{x}}_4=(1,-1,-1,1).\end{array}$$
利用公式$(2)$可得
$$\{\begin{array}{l}{\mathbf{y}}_1={\mathbf{x}}_1=(1,1,0,0),\\ {\mathbf{y}}_2={\mathbf{x}}_2-\frac{({\mathbf{x}}_2,{\mathbf{y}}_1)}{({\mathbf{y}}_1,{\mathbf{y}}_1)}{\mathbf{y}}_1=(\frac{1}{2},-\frac{1}{2},1,0),\\ {\mathbf{x}}_3={\mathbf{x}}_3-\frac{({\mathbf{x}}_3,{\mathbf{y}}_2)}{({\mathbf{y}}_2,{\mathbf{y}}_2)}{\mathbf{y}}_2-\frac{({\mathbf{x}}_3,{\mathbf{y}}_1)}{({\mathbf{y}}_1,{\mathbf{y}}_1)}{\mathbf{y}}_1=(-\frac{1}{3},\frac{1}{3},\frac{1}{3},1),\\ {\mathbf{x}}_4={\mathbf{x}}_4-\frac{({\mathbf{x}}_4,{\mathbf{y}}_3)}{({\mathbf{y}}_3,{\mathbf{y}}_3)}{\mathbf{y}}_3-\frac{({\mathbf{x}}_4,{\mathbf{y}}_2)}{({\mathbf{y}}_2,{\mathbf{y}}_2)}{\mathbf{y}}_2-\frac{({\mathbf{x}}_4,{\mathbf{y}}_1)}{({\mathbf{y}}_1,{\mathbf{y}}_1)}{\mathbf{y}}_1=(1,-1,-1,1).\end{array}$$
单位化得到
$$\{\begin{array}{l}{\mathbf{z}}_1=\frac{{\mathbf{y}}_1}{|{\mathbf{y}}_1|}=(\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}},0,0),\\ {\mathbf{z}}_2=\frac{{\mathbf{y}}_2}{|{\mathbf{y}}_2|}=(\frac{1}{\sqrt{6}},-\frac{1}{\sqrt{6}},\frac{2}{\sqrt{6}},0),\\ {\mathbf{z}}_3=\frac{{\mathbf{y}}_3}{|{\mathbf{y}}_3|}=(-\frac{1}{\sqrt{12}},\frac{1}{\sqrt{12}},\frac{1}{\sqrt{12}},\frac{3}{\sqrt{12}}),\\ {\mathbf{z}}_4=\frac{{\mathbf{y}}_4}{|{\mathbf{y}}_4|}=(\frac{1}{2},-\frac{1}{2},-\frac{1}{2},\frac{1}{2})\end{array}$$

引用

【1】 矩阵论(第二版)