最小二乘

一： 线性最小二乘

线性最小二乘可以用来求模型的拟合等，例如，直线，平面拟合等。但总归说来模型方程必须是线性的。例如直线拟合中

直线为 为了模拟该直线，我们采样了n组点（比如100组），分别记录了他们的坐标。我们知道该直线方程只需要三组点就可以解出参数。但是由于噪声的存在，我们有100组点，不能随意的取三组，然后解方程。那么最好的办法就是最小二乘解。

假设我们已经知道直线参数a', b'。对于方程y = ax + b ,现在未知数是a和b，所以我们将方程写成矩阵的形式如下：

 , 由于这里x, y是已知数，所以我们转换下未知数的表达，我们用向量X 表示未知数a, b。用向量A 表示系数矩阵，用未知数b表示观测值y的向量。

则方程为 AX = b; A 是100x2 矩阵，X 是2x1列向量，b是100x1列向量。定义误差为 e = b - AX,所以最优的参数值应该是符合以下公式