漫话最小二乘法-1.矩阵表示

无论是科研开始工程中，最小二乘法可谓无处不在。这里我想抛砖引玉，谈谈我对最小二乘的了解，也顺便理一理自己的思路，所谓：温故而知新嘛。这里将从矩阵和向量空间着手，先用矩阵和向量的方式表示最小二乘问题，以便后面说明其原理。
最小二乘最早是由勒让德和高斯各自提出的。高斯成功的用最小二乘法解决了谷神星轨道计算的问题。

先从最基本的线性回归说起最小二乘的用法。如图所示，蓝色圆圈描绘了一组点，可以大致看出这样一组点大致在一条直线附近分布。因为噪声原因，点都或多或少的偏离了原有的位置。怎样根据现有的这些点，消除噪声的影响，获得一条直线呢，而且是具备以下特征的直线：

1. 如果没有噪声影响，蓝色的圆圈都应该落在这条直线上；

2. 如果给定新的 $x$ 坐标点带入到直线方程 $y=ax+c$ 所获得的 $y$应该与实际获得的 $y'$误差最小。

   让 $a_1$代替 $x$，让$a_2$代替 $y$，上述直线方程也可以写为：
   $a_1x_1+a_2x_2=1$
   其中 x1