缺失值处理:
举止,中位数,众数插补法
使用固定值(规定的标准值)
最近邻插补法
回归方法
插值法
插值法有拉格朗日差值和牛顿插值法。
一个较大的区别是,当节点增减的时候,拉格朗日插值必须重新计算,牛顿法则 可以避免这一点。
下面是python scipy中的lagrange插值函数的使用,使用某个插值点前后的5个值x=[0,1,2,3,4,6,7,8,9,10],y=[y0,y1,y2,y3,y4,y6,y7,y8,y9,y10]一共10个点,我们要求的是5对应的y5,这里的的参数为[a9...a0]一个10个值
对应的方程为
y=a9x^9+...+a1x+a0
我们带入要插值的数值x=5,一般为下标值
得出我们要求的5的插值y
#-*- coding:utf-8 -*- import pandas as pd from scipy.interpolate import lagrange inputfile = 'catering_sale.xls' outputfile= 'sales.xls' data = pd.read_excel(inputfile)#读取excel data[u'销量'][(data[u'销量']<400)|(data[u'销量']>5000)]=None#异常值变为空值 def ployinterp_column(s,n,k=5):#默认是前后5个 #tem=list(range(n-k,n))+list(range(n+1,n+1+k)) y=s[list(range(n-k,n))+list(range(n+1,n+1+k))]#取数,n的前后5个,这里有可能取到不存在的下标,为空 y=y[y.notnull()]#如果y里面有空值的话就去掉 #teml=lagrange(y.index,list(y))#这里代表的就是参数ai return lagrange(y.index,list(y))(n)#最后的括号就是我们要插值的n for i in data.columns: if i==u'日期': continue for j in range(len(data)): if(data[i].isnull())[j]:#空值进行插值 data[i][j] = ployinterp_column(data[i],j) data.to_excel(outputfile)