最小二乘法多项式曲线拟合原理与实现

转载 2013年12月05日 10:41:34

概念

最小二乘法多项式曲线拟合,根据给定的m个点,并不要求这条曲线精确地经过这些点,而是曲线y=f(x)的近似曲线y= φ(x)。

原理

[原理部分由个人根据互联网上的资料进行总结,希望对大家能有用]

     给定数据点pi(xi,yi),其中i=1,2,…,m。求近似曲线y= φ(x)。并且使得近似曲线与y=f(x)的偏差最小。近似曲线在点pi处的偏差δi= φ(xi)-y,i=1,2,...,m。 

常见的曲线拟合方法:

     1.使偏差绝对值之和最小

     

     2.使偏差绝对值最大的最小

     

     3.使偏差平方和最小

     

     按偏差平方和最小的原则选取拟合曲线,并且采取二项式方程为拟合曲线的方法,称为最小二乘法。

推导过程:

     1. 设拟合多项式为:

          

     2. 各点到这条曲线的距离之和,即偏差平方和如下:

          

     3. 为了求得符合条件的a值,对等式右边求ai偏导数,因而我们得到了: 

          

          

                         .......

          

     4. 将等式左边进行一下化简,然后应该可以得到下面的等式:

          

          

                     .......

          


     5. 把这些等式表示成矩阵的形式,就可以得到下面的矩阵:

          

     6. 将这个范德蒙得矩阵化简后可得到:

          

     7. 也就是说X*A=Y,那么A =  Invert(X ' * X) * X ' * Y        (原文错误修正, Invert ()为逆矩阵  (X'*X)-1*X'*Y),便得到了系数矩阵A,同时,我们也就得到了拟合曲线。

实现

运行前提:

  1. Python运行环境与编辑环境;
  2. Matplotlib.pyplot图形库,可用于快速绘制2D图表,与matlab中的plot命令类似,而且用法也基本相同。

代码:

01.# coding=utf-8   
02.  
03.''''' 
04.作者:Jairus Chan 
05.程序:多项式曲线拟合算法 
06.'''  
07.import matplotlib.pyplot as plt  
08.import math  
09.import numpy  
10.import random  
11.  
12.fig = plt.figure()  
13.ax = fig.add_subplot(111)  
14.  
15.#阶数为9阶   
16.order=9  
17.  
18.#生成曲线上的各个点   
19.x = numpy.arange(-1,1,0.02)  
20.y = [((a*a-1)*(a*a-1)*(a*a-1)+0.5)*numpy.sin(a*2) for a in x]  
21.#ax.plot(x,y,color='r',linestyle='-',marker='')   
22.#,label="(a*a-1)*(a*a-1)*(a*a-1)+0.5"   
23.  
24.#生成的曲线上的各个点偏移一下,并放入到xa,ya中去   
25.i=0  
26.xa=[]  
27.ya=[]  
28.for xx in x:  
29.    yy=y[i]  
30.    d=float(random.randint(60,140))/100  
31.    #ax.plot([xx*d],[yy*d],color='m',linestyle='',marker='.')   
32.    i+=1  
33.    xa.append(xx*d)  
34.    ya.append(yy*d)  
35.  
36.'''''for i in range(0,5): 
37.    xx=float(random.randint(-100,100))/100 
38.    yy=float(random.randint(-60,60))/100 
39.    xa.append(xx) 
40.    ya.append(yy)'''  
41.  
42.ax.plot(xa,ya,color='m',linestyle='',marker='.')  
43.  
44.  
45.#进行曲线拟合   
46.matA=[]  
47.for i in range(0,order+1):  
48.    matA1=[]  
49.    for j in range(0,order+1):  
50.        tx=0.0  
51.        for k in range(0,len(xa)):  
52.            dx=1.0  
53.            for l in range(0,j+i):  
54.                dx=dx*xa[k]  
55.            tx+=dx  
56.        matA1.append(tx)  
57.    matA.append(matA1)  
58.  
59.#print(len(xa))   
60.#print(matA[0][0])   
61.matA=numpy.array(matA)  
62.  
63.matB=[]  
64.for i in range(0,order+1):  
65.    ty=0.0  
66.    for k in range(0,len(xa)):  
67.        dy=1.0  
68.        for l in range(0,i):  
69.            dy=dy*xa[k]  
70.        ty+=ya[k]*dy  
71.    matB.append(ty)  
72.   
73.matB=numpy.array(matB)  
74.  
75.matAA=numpy.linalg.solve(matA,matB)  
76.  
77.#画出拟合后的曲线   
78.#print(matAA)   
79.xxa= numpy.arange(-1,1.06,0.01)  
80.yya=[]  
81.for i in range(0,len(xxa)):  
82.    yy=0.0  
83.    for j in range(0,order+1):  
84.        dy=1.0  
85.        for k in range(0,j):  
86.            dy*=xxa[i]  
87.        dy*=matAA[j]  
88.        yy+=dy  
89.    yya.append(yy)  
90.ax.plot(xxa,yya,color='g',linestyle='-',marker='')  
91.  
92.ax.legend()  
93.plt.show()  

运行效果: 
 
转自:http://blog.csdn.net/jairuschan/article/details/7517773

相关文章推荐

机器学习入门之多项式曲线拟合

多项式曲线拟合机器学习和人工智能是最近几年特别火的领域,比如微软小冰、微软cortana、苹果siri、谷歌Now和alphaGo都使用了机器学习,使得他们的产品变得更加智能。 当然除了这些科技巨头...

多项式曲线拟合(Polynomial Curve Fitting)

多项式曲线拟合(Polynomial Curve Fitting)标签:监督学习多项式特征生成在机器学习算法中,基于针对数据的非线性函数的线性模型是非常常见的,这种方法即可以像线性模型一样高效的运算,...
  • daunxx
  • daunxx
  • 2016-06-05 10:18
  • 5334

最小二乘法多项式曲线拟合原理与实现

概念 最小二乘法多项式曲线拟合,根据给定的m个点,并不要求这条曲线精确地经过这些点,而是曲线y=f(x)的近似曲线y= φ(x)。 原理 [原理部分由个人根据互联网上的资料进行总结,希望对大...

最小二乘法 多项式曲线拟合 原理公式理解 Python 实现

曲线拟合方法 最小二乘法 最大似然估计 梯度下降法 多项式拟合 Python代码 数据集征兵抽签1-366号y366个不同的人抽x结果表明生日靠后的人易抽到小号概念最小二乘法多项式曲线拟合,根据给定的...
  • neuldp
  • neuldp
  • 2016-07-27 20:54
  • 1763

最小二乘法多项式曲线拟合原理与实现

概念 最小二乘法多项式曲线拟合,根据给定的m个点,并不要求这条曲线精确地经过这些点,而是曲线y=f(x)的近似曲线y= φ(x)。 原理 [原理部分由个人根据互联网上的资料进行总...

最小二乘法曲线拟合原理与实现

参考文章http://blog.csdn.net/jairuschan/article/details/7517773最小二乘学习法是对模型的输出和训练集输出的平方误差为最小时的参数进行学习,式中之所...

多项式曲线拟合最小二乘法

多项式插值法

PRML读书笔记(一):重访曲线拟合(最小二乘法的统计学原理)

学过一点统计的人都会知道最小二乘法,最简单的曲线拟合方式。最小二乘法是通过最小化误差平方和来求解模型参数ω\omega的,记为: Min12∑i=1n{y(x,ω)−t}2 Min\frac{1}{...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)