本文从几何和优化两个角度解释最小二乘法。当线性方程组无解时，最小二乘法寻找列空间内与目标向量最接近的解，即最小化误差向量的范数。在优化角度看，最小二乘法对应线性拟合的凸二次代价函数，通过梯度为零确定最小化条件。
【几何上的理解】
我们用最小二乘法，一般是在求解线性方程组时使用。往往这时的独立方程个数会多于自由变量的个数，导致没有解存在。
考察这样一个方程组：Ax=b，其中A是m行n列的矩阵，x和b均为n维向量。该方程组有解，充分必要于b可以由A的列向量组线性表出，对应的系数就是解向量x的各个分量。在该方程组无解时，b就不能用A的列向量组线性表出，也就是说b不在A的列空间里。
我们的目的就是，在无解的情况下，寻找到一个尽量“近似”的解。
为此，我们可以在A的列空间里找到一个向量y，使得 || b-y || 最小，那么y就是A的列空间里和b“差别最小”的向量。既然Ax=b无解，我们就用Ax=y来替代它。由于y是和b“差别最小”的向量，这样Ax=y得到的解，在某种程度上就是一个尽量“近似”的解。
又由几何知识知道，y就是b在A的列空间的投影。由此容易得到最小二乘解的方程：。
综上，最小二乘法的本质就是：求得右端项b在A的列空间里的投影y，并用y来代替b作为右端项，作为原方程的一个近似。
【优化角度】
在优化角度，相当于线性拟合一个数据集。我们用的代价函数则是:
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
