无论是科研开始工程中,最小二乘法可谓无处不在。这里我想抛砖引玉,谈谈我对最小二乘的了解,也顺便理一理自己的思路,所谓:温故而知新嘛。这里将从矩阵和向量空间着手,先用矩阵和向量的方式表示最小二乘问题,以便后面说明其原理。
最小二乘最早是由勒让德和高斯各自提出的。高斯成功的用最小二乘法解决了谷神星轨道计算的问题。
先从最基本的线性回归说起最小二乘的用法。如图所示,蓝色圆圈描绘了一组点,可以大致看出这样一组点大致在一条直线附近分布。因为噪声原因,点都或多或少的偏离了原有的位置。怎样根据现有的这些点,消除噪声的影响,获得一条直线呢,而且是具备以下特征的直线:
- 如果没有噪声影响,蓝色的圆圈都应该落在这条直线上;
如果给定新的 x 坐标点带入到直线方程
y=ax+c 所获得的 y 应该与实际获得的y′ 误差最小。让 a1 代替 x ,让
a2 代替 y ,上述直线方程也可以写为:
a1x1+a2x2=1
其中 x1