在网上看别人的心得
一 最小二乘法的基本原理
从整体上考虑近似函数同所给数据点(i=0,1,…,m)误差(i=0,1,…,m)的大小,常用的方法有以下三种:一是误差(i=0,1,…,m)绝对值的最大值,即误差 向量的∞—范数;二是误差绝对值的和,即误差向量r的1—范数;三是误差平方和的算术平方根,即误差向量r的2—范数;前两种方法简单、自然,但不便于微分运算 ,后一种方法相当于考虑 2—范数的平方,因此在曲线拟合中常采用误差平方和来 度量误差(i=0,1,…,m)的整体大小。
数据拟合的具体作法是:对给定数据 (i=0,1,…,m),在取定的函数类中,求,使误差(i=0,1,…,m)的平方和最小,即
=
从几何意义上讲,就是寻求与给定点(i=0,1,…,m)的距离平方和为最小的曲线(图6-1)。函数称为拟合 函数或最小二乘解,求拟合函数的方法称为曲线拟合的最小二乘法。
在曲线拟合中,函数类可有不同的选取方法.
6—1
二 多项式拟合
假设给定数据点(i=0,1,…,m),为所有次数不超过的多项式构成的函数类,现求一,使得
(1)
当拟合函数为多项式时,称为多项式拟合,满足式(1)的称为最小二乘拟合多项式。特别地,当n=1时,称为线性拟合或直线拟合。
显然
为的多元函数,因此上述问题即为求的极值 问题。由多元函数求极值的必要条件,得
(2)
即
(3)
(3)是关于的线性方程组,用矩阵表示为
(4)
式(3)或式(4)称为正规方程组或法方程组。
可以证明,方程组(4)的系数矩阵是一个对称正定矩阵,故存在唯一解。从式(4)中解出(k=0,1,…,n),从而可得多项式
(5)
可以证明,式(5)中的满足式(1),即为所求的拟合多项式。我们把称为最小二乘拟合多项式的平方误差,记作
<