5.2 最优近似解 $\mathbf{\hat{x}} = A^{-1}_L\mathbf{b}$ 是最小二乘解

5.2 最优近似解 $\hat{\mathbf{x}}=A_L^{-1}\mathbf{b}$ 是最小二乘解

根据平面几何定理，点到直线的距离，垂线最短，推广到高维，即点到子空间的距离，垂线最短。根据投影性质，向量 ${\mathbf{b}}_p$ 是向量 $\mathbf{b}$ 在子空间 $colA$ 的垂足，向量 $\mathbf{b}-{\mathbf{b}}_p$ 是垂线，距离最短，又 ${\mathbf{b}}_p=A\hat{\mathbf{x}}$ ，得

$$\Vert \mathbf{b}-{\mathbf{b}}_p\Vert =\Vert \mathbf{b}-A\hat{\mathbf{x}}\Vert =mi{n}_{\mathbf{x}}(\Vert \mathbf{b}-A\mathbf{x}\Vert )$$

在子空间 $colA$ 中任意向量 $A\mathbf{x}$ 与向量 $\mathbf{b}$ 的距离大于垂线距离 $\Vert \mathbf{b}-{\mathbf{b}}_p\Vert$ ，距离 $\Vert \mathbf{b}-A\mathbf{x}\Vert$ 最小的解即是最优近似解。

$\Vert \mathbf{b}-{\mathbf{b}}_p{\Vert }^2$ 是什么呢？$\Vert \mathbf{b}-{\mathbf{b}}_p{\Vert }^2=\Vert \mathbf{b}-A\hat{\mathbf{x}}{\Vert }^2={\sum }_i(b_i-{\mathbf{a}}_{ri}^T\hat{\mathbf{x}}{)}^2$ 。 $b_i-{\mathbf{a}}_{ri}^T\hat{\mathbf{x}}$ 是第 $i$ 次测量数据的预测值 ${\hat{b}}_i={\mathbf{a}}_{ri}^T\hat{\mathbf{x}}$ 与实际测量值 $b_i$ 的差，$b_i-{\hat{b}}_i$ 称为残差。最优近似解的残差平方和最小，故称最小二乘解，二乘就是指平方和。