QR分解的几何解释，并荐书《Algebra, Topology, Differential, Calculus, and Optimization Theory》

一、简介

首先，我在这里推荐一本好书——《Algebra, Topology, Differential, Calculus, and Optimization Theory for Computer Science and Engineering》 【1】 ，该书作者是 Jean Gallier 【2】 教授。老爷子70多岁，就职于宾西法利亚大学 计算机与信息学院，可说本书是他将几十年的教学经验凝聚之精华，总共1900页，分为 9 个大部分，54章，涵盖了线性空间、代数几何、代数、拓扑、微分方程、最优化理论、机器学习等多个方面的数学基础，没有几十年功力实难驾驭自如。书中详细地介绍了计算机科学所需的各门类数学基础，不仅是从本科的基础高等数学到各领域专业前沿研究的重要过渡，也为继续学习更为高深的数学做了一定的铺垫，以及指明了方向。最难得的是，这本大部头是开源的，我把这个资源列在了文章后面的参考文献【1】中，真希望能找到一同学习的同学，可以聊聊学习心得，相互启发、帮助，共同进步。
以下博文是我依据该书第12章（《QR-Decomposition for Arbitrary Matrices》）的内容，结合自己的理解写成，不对之处，还望不吝赐教。

二、QR分解

把矩阵分解为形式比较简单或具有某种特性的一些矩阵的乘积，称之为矩阵分解，它在矩阵理论的研究与应用中占据着非常重要的地位。因为一方面，这些分解式的特殊形式能够反映出原矩阵的某些数值特征；另一方面，这些分解的方法与过程为数值计算提供了理论依据。矩阵 QR 分解是将任意矩阵 $A$ 分解为两个矩阵相乘，如：$A=QR$，其中 $Q$ 是规范正交矩阵（Orthonormal Matrix），$R$ 是上三角矩阵（Upper Triangular Matrix）。QR分解在解决最小二乘问题、特征值计算方面都有广泛应用。【3】
在【4】中，给出了QR分解的一般证明（原书 2.6.1 定理），它是基于 Gram-Schmidt 正交化给出的：
定理1：QR分解
如果 $A\in M_{n,m}$ 且 $n\ge m$，那么存在具有标准正交列（归一化正交）的矩阵 $Q\in M_{n,m}$ 和上三角矩阵 $R\in M_{m,m}$，使得 $A=QR$。如果 $n=m$，那么 $Q$ 是酉矩阵（即 $Q^{\ast }Q=Q{Q}^{\ast }=I$）；此外，如果 $A$ 是非奇异矩阵，则可以选取 $R$ 为具有正对角元的上三角矩阵，并且在这种情况，因子 $Q$ 和 $R$ 都是唯一的，如果 $A\in M_{n,m}(\mathbb{R})$，那么 $Q$ 和 $R$ 都可以取实矩阵。
证明：
如果 $A\in M_{n,m}$ ，且 $rank(A)=m$，则 $A$ 的各列构成 ${\mathbb{C}}^n$ 的一个无关组，把 Gram-Schmidt 过程应用于 $A$ 的各列，用矩阵记号描述所得的结果，就可以得到$A$ 的QR分解。Gram-Schmidt 算法的自然推广使同样的矩阵记号描述能够应用于任意矩阵 $A$ 的各列，于是得到一般矩阵 $A$ 的QR分解。以下简述之：
设 $A=[{\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_m]$，其中 ${\mathbf{a}}_i$ 是$A$ 的列矢量（column vector），对 $A$ 的各列矢量执行 Gram-Schmidt 过程，得到正交矢量 ${\mathbf{p}}_1,{\mathbf{p}}_2,\cdots ,{\mathbf{p}}_m$，归一化得到 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_m$，过程如下：

• 正交化过程：

$$\begin{gathered} {\mathbf{p}}_1={\mathbf{a}}_1 \\ {\mathbf{p}}_2={\mathbf{a}}_2-\frac{{\mathbf{a}}_2^T{\mathbf{p}}_1}{\Vert {\mathbf{p}}_1{\Vert }^2}{\mathbf{p}}_1 \\ {\mathbf{p}}_3={\mathbf{a}}_3-\frac{{\mathbf{a}}_3^T{\mathbf{p}}_1}{\Vert {\mathbf{p}}_1{\Vert }^2}{\mathbf{p}}_1-\frac{{\mathbf{a}}_3^T{\mathbf{p}}_2}{\Vert {\mathbf{p}}_2{\Vert }^2}{\mathbf{p}}_2 \\ \cdots \cdots \\ {\mathbf{p}}_m={\mathbf{a}}_m-\frac{{\mathbf{a}}_m^T{\mathbf{p}}_1}{\Vert {\mathbf{p}}_1{\Vert }^2}{\mathbf{p}}_1-\cdots \frac{{\mathbf{a}}_m^T{\mathbf{p}}_{m-1}}{\Vert {\mathbf{p}}_{m-1}{\Vert }^2}{\mathbf{p}}_{m-1} \end{gathered}$$

• 归一化过程：
  $${\mathbf{q}}_i=\frac{{\mathbf{p}}_i}{\Vert {\mathbf{p}}_i\Vert }$$
  由此
  $$\begin{gathered} {\mathbf{a}}_1={\mathbf{p}}_1=\Vert {\mathbf{p}}_1\Vert {\mathbf{q}}_1=r_{11}{\mathbf{q}}_1 \\ {\mathbf{a}}_2=\frac{{\mathbf{a}}_2^T{\mathbf{p}}_1}{\Vert {\mathbf{p}}_1{\Vert }^2}{\mathbf{p}}_1+{\mathbf{p}}_2=r_{21}{\mathbf{q}}_1+r_{22}{\mathbf{q}}_2 \end{gathered}$$
  其中，$r_{21}=\frac{{\mathbf{a}}_2^T{\mathbf{p}}_1}{\Vert {\mathbf{p}}_1{\Vert }^2}\cdot r_{11}$ 和 $r_{22}=\frac{{\mathbf{p}}_2}{\Vert {\mathbf{p}}_2\Vert }$，如此类推，可得：
  $${\mathbf{a}}_i=r_{i1}{\mathbf{q}}_1+r_{i2}{\mathbf{q}}_2+\cdots +r_{ii}{\mathbf{q}}_i,1\le i\le m$$
  于是，
  $$\begin{gathered} A=[{\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_m] \\ =[r_{11}{\mathbf{q}}_1,r_{21}{\mathbf{q}}_1+r_{22}{\mathbf{q}}_2,\cdots ,r_{m1}{\mathbf{q}}_1+\cdots +r_{mm}{\mathbf{q}}_m] \\ =[{\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_m]\cdot [\begin{array}{cccc}{r}_{11}& r_{21}& \cdots & r_{m1}\\ 0& r_{22}& \cdots & r_{m2}\\ 0& 0& \cdots & r\\ ⋮& ⋮& \ddots & \\ 0& 0& \cdots & \end{array} \end{gathered}$$