python填补缺失值数据驱动代码_【分析篇】：Python 拉格朗日插值代码(缺失值)和数据规范化...

A.数据源：catering_sale.xls

catering_sale.xls

A.拉格朗日插值代码(缺失值的数据处理)

import pandas as pd #导入数据分析库Pandas

from scipy.interpolate import lagrange #导入拉格朗日插值函数

inputfile = 'F:/python 数据挖掘分析实战/Data/catering_sale.xls' #销量数据路径

outputfile = 'F:/python 数据挖掘分析实战/Data/tmpsales.xls' #输出数据路径

data = pd.read_excel(inputfile) #读入数据

data[u'销量'][(data[u'销量'] < 400) | (data[u'销量'] > 5000)] = None #过滤异常值，将其变为空值，即变为缺失值 nan

#自定义列向量插值函数

#s为列向量，n为被插值的位置，k为取前后的数据个数，默认为5

def ployinterp_column(s, n, k=5):

y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取数

y = y[y.notnull()] #剔除空值

return lagrange(y.index, list(y))(n) #插值并返回插值结果

#逐个元素判断是否需要插值

for i in data.columns:

for j in range(len(data)):

if (data[i].isnull())[j]: #如果为空即插值。

data[i][j] = ployinterp_column(data[i], j)

data.to_excel(outputfile) #输出结果，写入文件

B. 数据源：normalization_data.xls

normalization_data.xls

数据规范化结果

数据代码

import pandas as pd

datafile = 'F:/python 数据挖掘分析实战/Data/normalization_data.xls' #参数初始化

data = pd.read_excel(datafile, header = None) #读取数据

(data - data.min())/(data.max() - data.min()) #最小-最大规范化

(data - data.mean())/data.std() #零-均值规范化

data/10**np.ceil(np.log10(data.abs().max())) #小数定标规范化

参考资料：《Python数据分析与挖掘实战》