最小二乘问题（下）

最新推荐文章于 2023-11-08 18:11:45 发布

白马负金羁

最新推荐文章于 2023-11-08 18:11:45 发布

阅读量7.6k

点赞数 11

分类专栏：线性代数与概率统计文章标签：数学最小二乘泛函分析线性代数

本文链接：https://blog.csdn.net/baimafujinji/article/details/53313784

版权

线性代数与概率统计专栏收录该内容

22 篇文章 45 订阅

订阅专栏

引言

牛顿说：“把简单的问题看得复杂，可以发现新领域；把复杂的问题看得简单，可以发现新规律。”而从历史的角度来看，一个学科的发展也亦是如此。随着学科的发展，最开始的一个主干方向会不断衍生出各自相对独立的分支，这也就是所谓“把简单的问题看得复杂”的过程。然而，一旦学科发展到一定程度之后，某些分支学科又开始被抽象综合起来，这也就是所谓“把复杂的问题看得简单”的过程。

例如，在很长一段时间里，物理学家们都把电和磁看成是两种独立的物理现象在研究，当学科研究积累到一定程度时，麦克斯韦就创立了电磁学从而完成了物理学中的一次大综合。而在数学发展的历史中，几何与代数也曾经在很长的一段时间里是彼此独立的。直到笛卡尔引入了直角坐标系的概念之后，人们才开始建立了一种代数与几何之间的联系，也就是所谓的解析几何。

泛函分析也是对以往许多数学问题或者领域进行高度抽象和综合的结果，其主要研究对象之一是抽象空间。其实在学习线性代数的过程中，读者已经建立了一种从矩阵到线性方程组之间的一种联系。而在泛函分析中，实数系、矩阵、多项式以及函数族这些看似关联不大的概念都可以抽成空间。

最小二乘法是求解线性回归问题时会介绍到的一种重要方法。本文会跳出线性回归的框架，讨论更泛化的最小二乘问题。而我们审视这个问题的高度，你可以认为是从线性代数或者矩阵分析的层级出发的。但如果你感觉我们所讨论的术语跟过去线性代数里学过的好像不太一样，那是因为我们正试图从泛函的角度来解读它。

最小二乘问题

假设有一个很大的方程组 $\mathbf{Ax=b}$ ，如果方程组的解不存在但又需要对它进行求解时，我们其实要做的就是去寻找一个最佳的 $\mathbf{x}$ ，使得 $\mathbf{Ax}$ 尽量接近 $\mathbf{b}$ 。

考虑 $\mathbf{Ax}$ 作为 $\mathbf{b}$ 的一个近似，那么从 $\mathbf{b}$ 到 $\mathbf{Ax}$ 的距离越小， $||\mathbf{b-Ax}||$ 的近似程度也就越好。一般的最小二乘问题就是要找出使 $||\mathbf{b-Ax}||$ 尽量小的 $\mathbf{x}$ ，术语“最小二乘”来源于这样的事实： $||\mathbf{b-Ax}||$ 是平方和的平方根。

定义：如果 $m\times n$ 的矩阵 $\mathbf{A}$ 和向量 $\mathbf{b}$ 属于 $\mathbb{R}^m$ ， $\mathbf{Ax=b}$ 的最小二乘解是 $\mathbb{R}^n$ 中的 $\mathbf{\hat{x}}$ ，使得 $|| \mathbf{b-A\hat{x}} || \leq || \mathbf{b-A{x}} ||$ 对所有 $\mathbf{{x}}\in \mathbb{R}^n$ 成立。

请大家回忆一下列空间的概念。假设大小为 $m\times n$ 的矩阵 $\mathbf{A}=[\mathbf{a}_1,\cdots,\mathbf{a}_n]$ ，此处 $\mathbf{a}_i$ 表示矩阵中的一列，其中 $1\leq i\leq n$ ，那么矩阵 $\mathbf{A}$ 的列空间（记为Col $\mathbf{A}$ ）就是由 $\mathbf{A}$ 中各列的所有线性组合构成的集合，即Col $\mathbf{A}=Span\{\mathbf{a}_1,\cdots,\mathbf{a}_n\}$ 。

很显然，Col $\mathbf{A}=Span\{\mathbf{a}_1,\cdots,\mathbf{a}_n\}$ 是一个子空间，进而我们可以知道 $m\times n$ 的矩阵 $\mathbf{A}$ 的列空间是 $\mathbb{R}^m$ 的一个子空间。此外，我们还注意到Col $\mathbf{A}$ 中的一个典型向量（或者称为元素）可以写成 $\mathbf{Ax}$ 的形式，其中 $\mathbf{x}$ 是某个向量，记号 $\mathbf{Ax}$ 表示 $\mathbf{A}$ 的列向量的一个线性组合，也就是说Col $\mathbf{A}=\{\mathbf{b}\ :\mathbf{b}=\mathbf{Ax},\ \mathbf{x}\in\mathbb{R}^n\}$ ，于是该式告诉我们：1）记号 $\mathbf{Ax}$ 代表Col $\mathbf{A}$ 空间中的向量；2）Col $\mathbf{A}$ 是线性变换 $\mathbf{x}\mapsto \mathbf{Ax}$ 的值域。

假设W是 $\mathbb{R}^n$ 空间中的一个子空间， $\mathbf{y}$ 是 $\mathbb{R}^n$ 中的任意向量， $\mathbf{\hat y}$ 是 $\mathbf{y}$ 在W上的正交投影，那么 $\mathbf{\hat y}$ 是W中最接近 $\mathbf{y}$ 的点，也就是说 $||\mathbf{y}-\mathbf{\hat y}||<||\mathbf{y}-\mathbf{v}||$ 对所有属于W又异于 $\mathbf{\hat y}$ 的 $\mathbf{v}$ 成立。这个结论也称为最佳逼近原理。其中向量 $\mathbf{\hat y}$ 称为W中元素对 $\mathbf{y}$ 的最佳逼近。对于给定元素 $\mathbf{y}$ ，可以被某个给定子空间中的元素代替或“逼近”，用 $||\mathbf{y}-\mathbf{v}||$ 表示的从 $\mathbf{y}$ 到 $\mathbf{v}$ 的距离，可以认为是用 $\mathbf{v}$ 代替 $\mathbf{y}$ 的“误差”，而最佳逼近原理说明误差在 $\mathbf{v} = \mathbf{\hat y}$ 处取得最小值。

最佳逼近原理看似抽象，其实它的几何意义也是相当直观的。如下图所示，我们所取的向量空间为 $\mathbb{R}^2$ ，其中的一个子空间W就是横轴， $\mathbf{y}$ 是 $\mathbb{R}^2$ 中的任意向量， $\mathbf{\hat y}$ 是 $\mathbf{y}$ 在W上的正交投影，那么 $\mathbf{\hat y}$ 显然是W中最接近 $\mathbf{y}$ 的点。更要的是，这个结论不仅仅在欧几里得几何空间中成立，因为泛函中所讨论的“向量”可能是我们通常所说的向量，但也可能是函数、矩阵，甚至多项式等等，但最佳逼近原理皆成立。

通过前面的分析，我们知道，最小二乘问题的最重要特征是无论怎么选取

x $\mathbf{x}$ ，向量

Ax $\mathbf{Ax}$ 必然位于列空间Col

A $\mathbf{A}$ 中。而最小二乘问题的本质任务就是要寻找一个

x $\mathbf{x}$ ，使得

Ax $\mathbf{Ax}$ 是Col

A $\mathbf{A}$ 中最接近

b $\mathbf{b}$ 的向量。

一般最小二乘问题的解

对于上面给定的 $\mathbf{A}$ 和 $\mathbf{b}$ ，运用最佳逼近定理于Col $\mathbf{A}$ 空间，取

b ̂ = p r o j C o l A b

$\mathbf{\hat b}=proj_{Col\mathbf{A}}\mathbf{b}$
由于

b $\mathbf{b}$ 属于

A $\mathbf{A}$ 的列空间，方程

Ax=b̂ $\mathbf{Ax=\hat b}$ 是相容的且存在一个属于

ℝn $\mathbb{R}^n$ 的

x̂ $\mathbf{\hat x}$ 使得

Ax̂ =b̂ $\mathbf{A\hat x=\hat b}$ 。由于

b̂ $\mathbf{\hat b}$ 是Col

A $\mathbf{A}$ 中最接近

b $\mathbf{b}$ 的点，一个向量

x̂ $\mathbf{\hat x}$ 是

Ax=b $\mathbf{Ax=b}$ 的一个最小二乘解的成分必要条件是

x̂ $\mathbf{\hat x}$ 满足

Ax̂ =b̂ $\mathbf{A\hat x=\hat b}$ 。这个属于

ℝn $\mathbb{R}^n$ 的

x̂ $\mathbf{\hat x}$ 是一系列由

A $\mathbf{A}$ 构造

b̂ $\mathbf{\hat b}$ 的权值。（显然如果方程

Ax̂ =b̂ $\mathbf{A\hat x=\hat b}$ 中存在自由变量，则这个方程会有多个解。）

如果 $\mathbf{\hat x}$ 满足 $\mathbf{A\hat x=\hat b}$ ，根据正交分解定理，投影 $\mathbf{\hat b}$ 具有这样的一个性质： $(\mathbf{b}-\mathbf{\hat b})$ 与Col $\mathbf{A}$ 正交，即 $(\mathbf{b}-\mathbf{A\hat x})$ 正交于 $\mathbf{A}$ 的每一列，如果 $\mathbf{a}_j$ 是 $\mathbf{A}$ 的任意列，那么 $\mathbf{a}_j\cdot(\mathbf{b}-\mathbf{A\hat x})=0$ 且 $\mathbf{a}_j^T\cdot(\mathbf{b}-\mathbf{A\hat x})=0$ ，由于每一个 $\mathbf{a}_j$ 是 $\mathbf{A}^T$ 的行，于是可得

A T (b - A x ̂) = 0

$\mathbf{A}^T(\mathbf{b}-\mathbf{A\hat x})=0$
因此有

A T b - A T A x ̂ = 0

$\mathbf{A}^T\mathbf{b}-\mathbf{A}^T\mathbf{A\hat x}=0$
或者

A T A x ̂ = A T b

$\mathbf{A}^T\mathbf{A\hat x}=\mathbf{A}^T\mathbf{b}$
这其实表明

Ax=b $\mathbf{Ax=b}$ 的每个最小二乘解满足方程

A T A x = A T b

$\mathbf{A}^T\mathbf{A x}=\mathbf{A}^T\mathbf{b}$
上述矩阵方程表示的线性方程组常称为

Ax=b $\mathbf{Ax=b}$ 的法方程，其解通常用

x̂ $\mathbf{\hat x}$ 表示。最后我们还可以得出如下定理（证明从略）。
定理：方程

Ax=b $\mathbf{Ax=b}$ 的最小二乘解集和法方程

ATAx=ATb $\mathbf{A^TAx=A^Tb}$ 的非空解集一致。

下面我们通过一个例子来说明最小二乘问题的解法。例：求不相容方程 $\mathbf{Ax=b}$ 的最小二乘解，其中

A = ⎡ ⎣ ⎢ ⎢ 401021 ⎤ ⎦ ⎥ ⎥, b = ⎡ ⎣ ⎢ ⎢ 2011 ⎤ ⎦ ⎥ ⎥

$\mathbf{A}= \begin{bmatrix} 4 & 0\\ 0 & 2\\ 1 & 1 \end{bmatrix}, \quad \mathbf{b}=\begin{bmatrix}2\\0\\11\end{bmatrix}$
利用前面给出的公式计算

A T A = [400211] ⎡ ⎣ ⎢ ⎢ 401021 ⎤ ⎦ ⎥ ⎥ = [17115]

$\mathbf{A}^T\mathbf{A}=\begin{bmatrix} 4 & 0 & 1\\ 0 & 2 & 1 \end{bmatrix} \begin{bmatrix} 4 & 0\\ 0 & 2\\ 1 & 1 \end{bmatrix}= \begin{bmatrix} 17 & 1\\ 1 & 5 \end{bmatrix}$

A T b = [400211] ⎡ ⎣ ⎢ ⎢ 2011 ⎤ ⎦ ⎥ ⎥ = [1911]

$\mathbf{A}^T\mathbf{b}=\begin{bmatrix} 4 & 0 & 1\\ 0 & 2 & 1 \end{bmatrix}\begin{bmatrix} 2 \\ 0 \\ 11 \end{bmatrix}=\begin{bmatrix} 19 \\11 \end{bmatrix}$
那么法方程

ATAx=ATb $\mathbf{A^TAx=A^Tb}$ 就变成了

[17115] [x 1 x 2] = [1911]

$\begin{bmatrix} 17 & 1\\ 1 & 5 \end{bmatrix}\begin{bmatrix}x_1 \\ x_2 \end{bmatrix}=\begin{bmatrix} 19 \\11 \end{bmatrix}$
行变换可用于解此方程组，但由于

ATA $\mathbf{A}^T\mathbf{A}$ 是

2×2 $2\times 2$ 的可逆矩阵，于是很容易得到

(A T A) - 1 = 1 84 [5 - 1 - 1 17]

$(\mathbf{A}^T\mathbf{A})^{-1}=\frac{1}{84} \begin{bmatrix} 5 & -1\\ -1 & 17 \end{bmatrix}$
那么可以解

ATAx=ATb $\mathbf{A^TAx=A^Tb}$ 如下：

x ̂ = (A T A) - 1 A T b = 1 84 [5 - 1 - 1 17] [1911] = [12]

$\begin{align} \mathbf{\hat{x}}&=(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\mathbf{b}\\ &=\frac{1}{84} \begin{bmatrix} 5 & -1\\ -1 & 17 \end{bmatrix}\begin{bmatrix} 19 \\11 \end{bmatrix}=\begin{bmatrix} 1 \\2 \end{bmatrix} \end{align}$
在很多计算中，

ATA $\mathbf{A}^T\mathbf{A}$ 是可逆的，但也并非都是如此，下面例子中的矩阵常常出现在统计学中的方差分析问题里。

例：求 $\mathbf{Ax=b}$ 的最小二乘解，其中

A = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 111111110000001100000011 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥, b = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ - 3 - 1 0251 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\mathbf{A}=\begin{bmatrix} 1 & 1 & 0 & 0\\ 1 & 1 & 0 & 0\\ 1 & 0 & 1 & 0\\ 1 & 0 & 1 & 0\\ 1 & 0 & 0 & 1\\ 1 & 0 & 0 & 1 \end{bmatrix},\quad \mathbf{b}=\begin{bmatrix} -3\\ -1\\0\\2\\5\\1 \end{bmatrix}$
类似地，我们可以算得

A T A = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 110011001010101010011001 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 111111110000001100000011 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 6222220020202002 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\mathbf{A}^T\mathbf{A}=\begin{bmatrix} 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 0 & 0 & 0 & 0\\ 0 & 0 & 1 & 1 & 0 & 0\\ 0 & 0 & 0 & 0 & 1 & 1 \end{bmatrix}\begin{bmatrix} 1 & 1 & 0 & 0\\ 1 & 1 & 0 & 0\\ 1 & 0 & 1 & 0\\ 1 & 0 & 1 & 0\\ 1 & 0 & 0 & 1\\ 1 & 0 & 0 & 1 \end{bmatrix}=\begin{bmatrix} 6 & 2 & 2 & 2\\ 2 & 2 & 0 & 0\\ 2 & 0 & 2 & 0\\ 2 & 0 & 0 & 2 \end{bmatrix}$

A T b = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 110011001010101010011001 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ - 3 - 1 0251 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 4 - 4 26 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\mathbf{A}^T\mathbf{b}=\begin{bmatrix} 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 0 & 0 & 0 & 0\\ 0 & 0 & 1 & 1 & 0 & 0\\ 0 & 0 & 0 & 0 & 1 & 1 \end{bmatrix} \begin{bmatrix} -3\\ -1\\0\\2\\5\\1 \end{bmatrix}=\begin{bmatrix} 4\\ -4\\2\\6 \end{bmatrix}$
矩阵方程

ATAx=ATb $\mathbf{A^TAx=A^Tb}$ 的增广矩阵为：

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 6222220020202002 4 - 4 26 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ \sim ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 100001000010 1 - 1 - 1 0 3 - 5 - 2 0 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\begin{bmatrix} 6 & 2 & 2 & 2 & 4\\ 2 & 2 & 0 & 0 & -4\\ 2 & 0 & 2 & 0&2\\ 2 & 0 & 0 & 2&6 \end{bmatrix} \sim \begin{bmatrix} 1 & 0 & 0 & 1 & 3\\ 0 & 1 & 0 & -1 & -5\\ 0 & 0 & 1 & -1 & -2\\ 0 & 0 & 0 & 0 & 0 \end{bmatrix}$
通解是：

x1=3−x4 $x_1=3-x_4$ ，

x2=−5+x4 $x_2=-5+x_4$ ，

x3=−2+x4 $x_3=-2+x_4$ ，

x4 $x_4$ 是自由变量。
所以，

Ax=b $\mathbf{Ax}=\mathbf{b}$ 的最小二乘通解具有如下形式：

x ̂ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 3 - 5 - 2 0 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ + x 4 ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ - 1 111 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\mathbf{\hat x}=\begin{bmatrix} 3\\-5\\-2\\0\end{bmatrix} +x_4\begin{bmatrix}-1\\1\\1\\1 \end{bmatrix}$

在什么条件下，方程 $\mathbf{Ax}=\mathbf{b}$ 的最小二乘解是唯一的？下面的定理给出了判断准则（当然，正交投影总是唯一的），我们不具体讨论该定理的证明。
定理：矩阵 $\mathbf{A}^T\mathbf{A}$ 是可逆的，其充分必要条件是 $\mathbf{A}$ 的列是线性无关的，在这种情况下，方程 $\mathbf{Ax}=\mathbf{b}$ 有唯一最小二乘解 $\mathbf{\hat x}$ 且它有下面的表达式

x ̂ = (A T A) - 1 A T b

$\mathbf{\hat x}=(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\mathbf{b}$

最小二乘解的另一个计算

下面的例子表明，当 $\mathbf{A}$ 的列向量不正交时，该如何找到 $\mathbf{Ax}=\mathbf{b}$ 的最小二乘解。这类矩阵在线性回归中常被用到。

例：找出 $\mathbf{Ax}=\mathbf{b}$ 的最小二乘解，其中

A = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 1111 - 6 - 2 17 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥, b = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ - 1 216 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\mathbf{A}=\begin{bmatrix}1 & -6 \\ 1& -2 \\ 1 & 1 \\ 1 & 7 \end{bmatrix}, \quad \mathbf{b}=\begin{bmatrix} -1\\2\\1\\6 \end{bmatrix}$

解：由于 $\mathbf{A}$ 的列 $\mathbf{a}_1$ 和 $\mathbf{a}_2$ 相互正交， $\mathbf{b}$ 在Col $\mathbf{A}$ 的正交投影如下：

b ̂ = b \cdot a 1 a 1 \cdot a 1 \cdot a 1 + b \cdot a 2 a 2 \cdot a 2 \cdot a 2 = 8 4 \cdot a 1 + 45 90 \cdot a 2 = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 2222 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ + ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ - 3 - 1 1 / 2 7 / 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ - 1 1 5 / 2 11 / 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\mathbf{\hat b}=\frac{\mathbf{b}\cdot\mathbf{a}_1}{\mathbf{a}_1\cdot\mathbf{a}_1}\cdot\mathbf{a}_1+\frac{\mathbf{b}\cdot\mathbf{a}_2}{\mathbf{a}_2\cdot\mathbf{a}_2}\cdot\mathbf{a}_2= \frac{8}{4}\cdot\mathbf{a}_1+\frac{45}{90}\cdot\mathbf{a}_2 =\begin{bmatrix}2\\2\\2\\2 \end{bmatrix}+\begin{bmatrix} -3\\-1\\1/2\\7/2 \end{bmatrix}=\begin{bmatrix} -1\\1\\5/2\\11/2 \end{bmatrix}$

既然 $\mathbf{\hat b}$ 已知，我们可以解 $\mathbf{A\hat x}=\mathbf{\hat b}$ 。这个很容易，因为我们已经知道 $\mathbf{\hat b}$ 用 $\mathbf{A}$ 的列线性（通过线性组合来）表示时的权值。于是从上式可以立刻得到：

x ̂ = ⎡ ⎣ ⎢ ⎢ ⎢ 8 4 45 90 ⎤ ⎦ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ 2 1 2 ⎤ ⎦ ⎥ ⎥

$\mathbf{\hat x}=\begin{bmatrix}\frac84\\\frac{45}{90} \end{bmatrix}=\begin{bmatrix}2\\\frac12\end{bmatrix}$

某些时候，最小二乘解问题的法方程可能是病态的，也就是 $\mathbf{A}^T\mathbf{A}$ 中元素在计算中出现较小的误差，可导致解 $\mathbf{\hat x}$ 出现较大的误差。如果 $\mathbf{A}$ 的列线性无关，最小二乘解常常可通过 $\mathbf{A}$ 的QR分解更可靠地求出。来看最后一个定理。

定理：给定一个 $m\times n$ 的矩阵 $\mathbf{A}$ ，且具有线性无关的列，取 $\mathbf{A}=\mathbf{QR}$ 是 $\mathbf{A}$ 的QR分解，那么对每一个属于 $\mathbb{R}^m$ 的 $\mathbf{b}$ ，方程 $\mathbf{Ax}=\mathbf{b}$ 有唯一的最小二乘解，其解为

x ̂ = R - 1 Q T b

$\mathbf{\hat x}=\mathbf{R}^{-1}\mathbf{Q}^{T}\mathbf{b}$
这个定理的证明非常简单，我们不再赘述。更进一步，基于QR分解的知识，我们知道

Q的列形成Col $\mathbf{Q}的列形成Col$ \mathbf{A}的正交基，因此，

QQTb $\mathbf{QQ^Tb}$ 是

b $\mathbf{b}$ 在Col

A $\mathbf{A}$ 上的正交投影

b̂ $\mathbf{\hat b}$ ，那么

Ax̂ =b̂ $\mathbf{A\hat x}=\mathbf{\hat b}$ 说明

x̂ $\mathbf{\hat x}$ 是

Ax=b $\mathbf{Ax} = \mathbf{b}$ 的最小二乘解。

此外，由于上述定理中的 $R$ 是上三角形矩阵， $\mathbf{\hat x}$ 可从方程 $\mathbf{Rx}=\mathbf{Q}^T\mathbf{b}$ 计算得到。求解该方程时，通过回代过程或行变换会比较高效。

例：求出Ax = b的最小二乘解，其中

A = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 111131135023 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥, b = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 357 - 3 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\mathbf{A}=\begin{bmatrix} 1 & 3 &5\\ 1 & 1 &0\\ 1 & 1 &2\\ 1 & 3 &3 \end{bmatrix} ,\quad \mathbf{b}=\begin{bmatrix} 3\\5\\7\\-3 \end{bmatrix}$

解：我们可以计算矩阵 $\mathbf{A}$ 的 $QR$ 分解为

A = Q R = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 1 / 2 1 / 2 1 / 2 1 / 2 1 / 2 - 1 / 2 - 1 / 2 1 / 2 1 / 2 - 1 / 2 1 / 2 - 1 / 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ 200420532 ⎤ ⎦ ⎥ ⎥

$\mathbf{A}=QR= \begin{bmatrix} 1/2& 1/2&1/2 \\ 1/2& -1/2& -1/2\\ 1/2& -1/2& 1/2\\ 1/2& 1/2& -1/2 \end{bmatrix} \begin{bmatrix} 2& 4&5 \\ 0& 2&3 \\ 0& 0& 2 \end{bmatrix}$

那么

Q T b = ⎡ ⎣ ⎢ ⎢ 1 / 2 1 / 2 1 / 2 1 / 2 - 1 / 2 - 1 / 2 1 / 2 - 1 / 2 1 / 2 1 / 2 1 / 2 - 1 / 2 ⎤ ⎦ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 357 - 3 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ 6 - 6 4 ⎤ ⎦ ⎥ ⎥

$\mathbf{Q^Tb}= \begin{bmatrix}1/2&1/2 & 1/2& 1/2\\ 1/2 & -1/2 & -1/2& 1/2\\ 1/2 & -1/2 & 1/2& -1/2 \end{bmatrix} \begin{bmatrix}3\\5\\7\\-3 \end{bmatrix}=\begin{bmatrix}6\\-6\\4 \end{bmatrix}$
满足

Rx=QTb $\mathbf{Rx}=\mathbf{Q^Tb}$ 的最小二乘解是

x̂ $\mathbf{\hat x}$ ，也就是

⎡ ⎣ ⎢ ⎢ 200420532 ⎤ ⎦ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ x 1 x 2 x 3 ⎤ ⎦ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ 6 - 6 4 ⎤ ⎦ ⎥ ⎥

$\begin{bmatrix}2 & 4 & 5\\ 0 &2 &3 \\ 0 & 0 &2 \end{bmatrix} \begin{bmatrix}x_1\\x_2\\x_3 \end{bmatrix}= \begin{bmatrix}6\\-6\\4 \end{bmatrix}$
这个方程很容易解出得：

x ̂ = ⎡ ⎣ ⎢ ⎢ 10 - 6 2 ⎤ ⎦ ⎥ ⎥

$\mathbf{\hat x}= \begin{bmatrix}10\\-6\\2 \end{bmatrix}$

参考文献与推荐阅读材料

本文中的例子主要来自
[1] David C. Lay. 刘深泉，等译. 线性代数及其应用（原书第3版），机械工业出版社，2005
同时推荐如下视频课程（从泛函的角度讲解线性代数）：
[2] 台湾国立交通大学开放课程：线性代数（一）、（二），莊重教授主讲，http://ocw.nctu.edu.tw/