python大数据分析——缺失值处理

# -*- coding: utf-8 -*-

import pandas as pd 
from scipy.interpolate import lagrange as lg #调用拉格朗日缺值补充函数

inputfile='D:/Code/Need/try.xls'
outputfile='D:/Code/Need/try1.xls'

data=pd.read_excel(inputfile)
data[u'B'][(data[u'B']>15) | (data[u'B']<1)]=None #去掉其中大于15小于1的异常值（视情况而定）

def lagra(data,j,k=5): #data为传入的列，j为值
    y=data[list(range(j-k,j))+list(range(j+1,j+1+k))]  #选取选中数据的前五个数据和后五个数据进行缺值补充
    y=y[y.notnull()] #去掉选中数据中的空值
    return lg(y.index,list(y))(j) #lagrange(x,y)(source) 返回值

for i in data.columns:
    for j in range(len(data)):
        if(data[i].isnull())[j]: #找到空值就执行函数
            data[i][j]=lagra(data[i],j)
            
data.to_excel(outputfile)