python 多项式回归 假设检验_数据清洗-利用python进行缺失值处理

处理缺失值的方法有3种：删除、不处理、数据插补。

而数据插补主要有5种：

1)利用均值、中位数、众数插补

2)使用固定值进行插补

3)最近临插补

4)回归方法

5)插值法

---

而主要的插值法分为牛顿插值法、拉格朗日插值法、Hermite插值、分段插值、样条插值法等。

本文主要介绍拉格朗日插值法：

对数学好的可以看一下拉格朗日插值法的数学公式，不感兴趣的直接略过看后续python 代码。

拉格朗日插值法是以法国十八世纪数学家约瑟夫·拉格朗日命名的一种多项式插值方法。拉格朗日插值法可以找到一个多项式，其恰好在各个观测的点取到观测到的值。

从数学上来说就是，对于平面上已知的n个点，可以找到一个n-1次多项式 使得多项式曲线能够过这n个点，从而求出缺失值，补上缺失值。

#拉格朗日插值代码

import pandas as pd #导入数据分析库Pandas

from scipy.interpolate import lagrange #导入拉格朗日插值函数

inputfile = 'path' #销量数据路径

outputfile = 'path' #输出数据路径

data = pd.read_excel(inputfile) #读入数据

#自定义列向量插值函数

#s为列向量，n为被插值的位置，k为取前后的数据个数，默认为5

def ployinterp_column(s, n, k=5):

y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取数

y = y[y.notnull()] #剔除空值

return lagrange(y.index, list(y))(n) #插值并返回插值结果

#逐个元素判断是否需要插值

for i in data.columns:

for j in range(len(data)):

if (data[i].isnull())[j]: #如果为空即插值。

data[i][j] = ployinterp_column(data[i], j)

data.to_excel(outputfile) #输出结果，写入文件