一: 线性最小二乘
线性最小二乘可以用来求模型的拟合等,例如,直线,平面拟合等。但总归说来模型方程必须是线性的。例如直线拟合中
直线为 为了模拟该直线,我们采样了n组点(比如100组),分别记录了他们的坐标。我们知道该直线方程只需要三组点就可以解出参数。但是由于噪声的存在,我们有100组点,不能随意的取三组,然后解方程。那么最好的办法就是最小二乘解。
假设我们已经知道直线参数a', b'。对于方程y = ax + b ,现在未知数是a和b,所以我们将方程写成矩阵的形式如下:
, 由于这里x, y是已知数,所以我们转换下未知数的表达,我们用向量X 表示未知数a, b。用向量A 表示系数矩阵,用未知数b表示观测值y的向量。
则方程为 AX = b; A 是100x2 矩阵,X 是2x1列向量,b是100x1列向量。定义误差为 e = b - AX,所以最优的参数值应该是符合以下公式