最小二乘法
它通过最小化误差的平方和寻找数据的最佳函数匹配
如下图所示,对于某个数据集(xi, yi) (i=0,1,…,n),我们需要找到一条趋势线(图中的虚线),能够表达出数据集(xi, yi)这些点所指向的方向。
用一个直线函数表示这条趋势线:
Y=aX+b
如果这个样本点位于趋势线的上侧,在残差ξi>0,反之则ξi<0,如果样本点位于趋势线上则ξi=0。
将带有残差的直线函数修改为下面的形式:
很明显这个二次函数是一个凸函数(单峰函数),我们接下来对该函数求极值,即它的一阶导数等于0(对k和b求偏导)。
小结:最小二乘法是一种数学优化技术,通过最西欧啊化误差的平方和寻找数据的最佳函数匹配。通过函数的求导为0来的到方程的最优解。