matlab最小二乘法_Lecture 15 | 最小二乘法

假设实验前我们测定一个线性的关系，测量有三组数据，(1，1)、(2，2)、(3，3)，认为它们在直线y=Cx+D上，所以将三个点坐标代入直线，得到：

我们要求这个方程组Ax=b，因为实际上这三个点并不在一条直线上即b不在A的列空间中，所以这个方程组无解。

所以去求最优解，将b投影到A的列空间中。

此时p在A的列空间中，p与b之间隔着误差|e|=|Ax-b|，我们保证误差最小化即得到最优解

如果从微积分角度去求解这个问题，就是关于f(C,D)的二元函数的极小值问题，分别去对C和D求偏导数令其为0，最后会得到一个关于C和D的二元一次方程组，而这个方程组就是我们需要的

现在我们直接从这个公式出发

再把b加进来做增广矩阵一起计算，就可以得到上面公式的结果

化为正规的方程组

解得C=1/2，D=2/3,所以这里的直线是y=1/2x+2/3

这就是最小二乘法求线性回归方程的思想，利用最重要的公式做线性回归分析

这说明了对于一个矩阵A而言，它可能并不一定是一个好的矩阵，但是A^T·A是一个对称的方阵，这是一个好的矩阵，我们用好的矩阵替换原先的矩阵，就可以使得一个无解的方程变得有解，这个解是原方程的最优解。