数据清洗-利用python进行缺失值处理

数据清洗-利用python进行缺失值处理

处理缺失值的方法有3种：删除、不处理、数据插补。

而数据插补主要有5种：

1）利用均值、中位数、众数插补

2）使用固定值进行插补

3）最近临插补

4）回归方法

5）插值法

而主要的插值法分为牛顿插值法、拉格朗日插值法、Hermite插值、分段插值、样条插值法等。

本文主要介绍拉格朗日插值法：

对数学好的可以看一下拉格朗日插值法的数学公式，不感兴趣的直接略过看后续python 代码。

拉格朗日插值法是以法国十八世纪数学家约瑟夫·拉格朗日命名的一种多项式插值方法。拉格朗日插值法可以找到一个多项式，其恰好在各个观测的点取到观测到的值。

从数学上来说就是，对于平面上已知的n个点，可以找到一个n-1次多项式 y = a_{0} +a_{1}x +a_{2}x^2 +·····+a_{n-1}x^n-1 使得多项式曲线能够过这n个点，从而求出缺失值，补上缺失值。

已知的过n个点的n-1次多项式为：y = a_{0} +a_{1}x +a_{2}x^2 +·····+a_{n-1}x^n-1

将n个点的坐标（x_{1},y_{1} ),(x_{2},y_{2} ),···（x_{n},y_{n} ）代入多项式函数，得

y_{1} = a_{0} +a_{1}x_{1} +a_{2}x_{1}^2 +·····+a_{n-1}x_{1}^n-1

y_{2} = a_{0} +a_{1}x_{2} +a_{2}x_{2}^2 +·····+a_{n-1}x_{2}^n-1

····

y_{n} = a_{0} +a_{1}x_{n} +a_{2}x_{n}^2 +·····+a_{n-1}x_{n}^n-1

解出拉格朗日插值多项式为：

L(x) = y_{1} \frac{(x-x_{2} )(x-x_{3})···(x-x_{n})}{(x_{1}-x_{2})(x_{1}-x_{3})(x_{1}-x_{n})} +y_{2} \frac{(x-x_{2} )(x-x_{3})···(x-x_{n})}{(x_{2}-x_{1})(x_{2}-x_{3})(x_{2}-x_{n})}+···+y_{n} \frac{(x-x_{2} )(x-x_{3})···(x-x_{n})}{(x_{n}-x_{1})(x_{n}-x_{3})(x_{n}-x_{n-1})}=\sum_{i+0}^ny_{i} \prod_{j=0,j\neq i}^n \frac{x-x_{j} }{x_{i}-x_{j}}

将缺失值的函数值对应的点代入插值多项式就可以得到趋势值的近似值L(x)。

接下来就是本文的核心部分了，好累。。。。

#拉格朗日插值代码

import pandas as pd #导入数据分析库Pandas

from scipy.interpolate import lagrange #导入拉格朗日插值函数

inputfile = ‘path’ #销量数据路径

outputfile = ‘path’ #输出数据路径

data = pd.read_excel(inputfile) #读入数据

#自定义列向量插值函数

#s为列向量，n为被插值的位置，k为取前后的数据个数，默认为5

def ployinterp_column(s, n, k=5):

y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取数

y = y[y.notnull()] #剔除空值

return lagrange(y.index, list(y))(n) #插值并返回插值结果

#逐个元素判断是否需要插值

for i in data.columns:

for j in range(len(data)):

if (data[i].isnull())[j]: #如果为空即插值。

  data[i][j] = ployinterp_column(data[i], j)

data.to_excel(outputfile) #输出结果，写入文件