最近上课讲到最小二乘的基本原理,老师给出问题自己去调研一下。本科期间我第一次接触这个东西实在大学物理这个课程中,当时记得老师给了一个数值例子,然后还觉着挺简单的,当然也是不知道这个东西具体什么用的,今天自己找了不少的资料,把最小二乘法给彻底的理解一下。
最小二乘法做拟合看到的最好的一个文章就是来自博友PureSky_Memory的一篇博文。
http://blog.sina.com.cn/s/blog_648868460100hevs.html
他的文章里讲的关于最小二乘法拟合直线我个人觉着写的非常好;我这里也是借用他文中的部分思想和自己所学的知识自己写了一个用最小二乘法来曲面拟合并给出数值例子。
1、基本原理
首先是平面上的二次方程:
化简为:
对于等精度的N组数据(xi, yi),i=1,…,N;xi, yi是精确的,假如预测值是zi。用最小二乘法估计参数时,要求观测值 zi的偏差加权平方和最小。用泛函误差δ表示
a0, a1, a2, a3, a4, a5的值影响着 δ的大小,对 δ求最小值,自然就是对a0, a1, a2 ,a3, a4, a5分别求偏导,实际就是一个泛函求极值问题。
具体求导:
整理后得到方程组: