序列数据缺失值插补（线性插值）

已于 2022-03-04 10:15:29 修改
阅读量1.6w 收藏 185
点赞数 53
分类专栏： 地理数据与处理 地理与气象分析库 文章标签： python 数据分析
于 2021-11-19 19:25:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42155937/article/details/121425756
版权

  （时间）序列数据处理过程中往往会有缺失值（例如9999、NaN或其他的异常值），对这些数据的处理是下一步分析、研究和应用的基础。

  本文以 2018年 MOD09A01 地表反射率数据计算的 8天合成 46期 NDVI 数据为基础（已完成去云处理，有云时段的数据已赋值为 NaN，部分数据做了微调，以符合本文的内容），选取 一个样点（样点经度：123°4′0.87″，纬度：42°56′45.75″），完成时序有云数据（缺失值）的插补。

0 基本思路
开始
读取时序NDVI数据
标记缺失值
缺失值插补
结束

1 读取数据

  本文的样例数据为EXECL格式，已上传至百度网盘，下载链接如下：

链接：https://pan.baidu.com/s/1PR4MXMIIihRyv_7GQMl9VQ
提取码：ynyv

  目标：将需要插补的原始数据读取为数组。

# 导入库
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np

# 读取原始数据
InFile = r'D:\xxxx\NDVI.xlsx'
Data = pd.read_excel(InFile)['NDVI'].values
print(Data)

[     nan      nan 0.223985 0.233396 0.227466 0.229259      1.2 0.231399
 0.22672       nan 0.224726 0.212029 0.236226 0.229548 0.236484 0.248894
 0.266551 0.275269 0.274135 0.270156      nan 0.478553 0.590506 0.721067
      nan 0.799064 0.742108 0.804224 0.83514  0.777888 0.734315 0.700915
 0.602857 0.553114 0.397294 0.318083 0.289676 0.253421  0.25891  0.24601
 0.23812  0.238319 0.238759 0.232261 0.253731 0.236231]

  简单做个图，我们看一下原始数据的样式。

# 定义一个横坐标
X = np.array(range(len(Data)))

plt.plot(X, Data, color = 'r')

在这里插入图片描述

  其中截断的部分是有缺失值的部分（即NaN）。下一步，我们对缺失值进行插值填充。

2 缺失值插补

2.1 标记异常值

  由于NDVI的最大值不可能大于1，则原始数据中 第 7 个值 1.2 明显为异常值。我们将异常值统一标记为缺失值。

Data[6] = np.nan
print(Data)

[     nan      nan 0.223985 0.233396 0.227466 0.229259      nan 0.231399
  0.22672      nan 0.224726 0.212029 0.236226 0.229548 0.236484 0.248894
 0.266551 0.275269 0.274135 0.270156      nan 0.478553 0.590506 0.721067
      nan 0.799064 0.742108 0.804224 0.83514  0.777888 0.734315 0.700915
 0.602857 0.553114 0.397294 0.318083 0.289676 0.253421  0.25891  0.24601
 0.23812  0.238319 0.238759 0.232261 0.253731 0.236231]

  简单做个图，我们看一下标记完异常值后的结果。

plt.plot(X, Data, color = 'y')

在这里插入图片描述

2.2 处理首末端缺失值

  首末端缺失值我们采用最邻近法填充（当然，也可以采用其他方法，这里不做示例）。

# 标记正常数据的位置
ValidDataIndex = X[np.where(np.isnan(Data) == 0)]

# 如果最后一个正常数据的序号比序列长度小，则表明最后一个正常数据后存在缺失数据
if ValidDataIndex[-1] < len(Data) - 1: 
    Data[ValidDataIndex[-1] + 1:] = Data[ValidDataIndex[-1]]  
    
# 如果第一个正常数据的序号不是0，则表明第一个正常数据前存在缺失数据
if ValidDataIndex[0] >= 1:
    Data[:ValidDataIndex[0]] = Data[ValidDataIndex[0]] 
print(Data)

[0.223985 0.223985 0.223985 0.233396 0.227466 0.229259      nan 0.231399
 0.22672       nan 0.224726 0.212029 0.236226 0.229548 0.236484 0.248894
 0.266551 0.275269 0.274135 0.270156      nan 0.478553 0.590506 0.721067
      nan 0.799064 0.742108 0.804224 0.83514  0.777888 0.734315 0.700915
 0.602857 0.553114 0.397294 0.318083 0.289676 0.253421 0.25891  0.24601
 0.23812  0.238319 0.238759 0.232261 0.253731 0.236231]

  简单做个图，我们看一下首末端缺失值处理后的结果。

plt.plot(X, Data, color = 'g')

在这里插入图片描述

2.3 缺失值插补

  插值过程我们使用scipy库插值模块的一维插值interp1d方法进行拟合，然后填充缺失值。

# 引入库（方法）
from scipy.interpolate import interp1d

  缺失数据不参与拟合，首先把缺失数据去除，对正常数据进行拟合。

# 步骤1：提取参与拟合的数据（X_0，Y_0）。由于缺失数据不能参与拟合，在拟合前，拟合数据需要先剔除异常值。
Y_0 = Data[np.where(np.isnan(Data) != 1)]
print(Y_0)

[0.223985 0.223985 0.223985 0.233396 0.227466 0.229259 0.231399 0.22672
 0.224726 0.212029 0.236226 0.229548 0.236484 0.248894 0.266551 0.275269
 0.274135 0.270156 0.478553 0.590506 0.721067 0.799064 0.742108 0.804224
 0.83514  0.777888 0.734315 0.700915 0.602857 0.553114 0.397294 0.318083
 0.289676 0.253421 0.25891  0.24601  0.23812  0.238319 0.238759 0.232261
 0.253731 0.236231]

X_0 = X[np.where(np.isnan(Data) != 1)]
print(X_0)

[ 0  1  2  3  4  5  7  8 10 11 12 13 14 15 16 17 18 19 21 22 23 25 26 27
 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45]

  利用拟合函数，根据缺失数据的标签，拟合缺失位置的数据。

# 步骤2：构造拟合函数，这里使用线性插值（'linear'）
IRFunction = interp1d(X_0, Y_0, kind = 'linear')

# 步骤3：提取缺失值数据的标签值
Fill_X = X[np.where(np.isnan(Data) == 1)]

# 步骤4：拟合缺失数据，并用拟合值替换缺失值
Fill_Y = IRFunction(Fill_X)
Data[Fill_X] = Fill_Y 

print(Data)

[0.223985  0.223985  0.223985  0.233396  0.227466  0.229259  0.230363
 0.231399  0.22672   0.225723  0.224726  0.212029  0.236226  0.229548
 0.236484  0.248894  0.266551  0.275269  0.274135  0.270156  0.3743545
 0.478553  0.590506  0.721067  0.7600655 0.799064  0.742108  0.804224
 0.83514   0.777888  0.734315  0.700915  0.602857  0.553114  0.397294
 0.318083  0.289676  0.253421  0.25891   0.24601   0.23812   0.238319
 0.238759  0.232261  0.253731  0.236231 ]

  简单做个图，我们看一下插值结果。

plt.plot(X, Data, color = 'b')

在这里插入图片描述

3 利用gma.math.FillNoData进行插补

  gma为自建的一个Python库，并已上传至pypi。详见：自建 | 地理与气象数据分析（geographic and meteorological data analysis）（gma）的说明与使用。欢迎大家下载试用。

  首先查看函数帮助

import gma
help(gma.math.FillNoData)

Help on function FillNoData in module gma.math:

FillNoData(Data, FillValue=None, Method='linear', **kwargs)
    '''
    简介
    ----------
    对缺失值或异常值值进行【插补】。

    参数
    ----------
    Data: list, tuple, Series, DataFrame。需要插补的数据。

    **可选参数
    ----------
    FillValue = number 或 list。标记需要进行插补的缺失值。可为数字（number）或数字列表（list）。默认不标记缺失值（None）。

        注：1.当 FillValue 为列表时，列表内所有值都将被插补。2.数据内原有的NAN、INF以及不能被转化为数字的字符串等异常值也将被插补。

    Method = str。插补方法。默认线性插值（'linear'）。其他的插补方法还包括：

        'time'（时间）, 'index'（索引）, 'values'（序列值）, 'pad'（前向填充）, 'nearest'（最邻近）, 
        'zero'（零值）, 'slinear'（滑动线性）, 'quadratic'（2次插值）, 'cubic'（3次插值）, 'spline'（样条函数）,
        'barycentric'（重心）, 'polynomial'（分段多项式）, 'from_derivatives'（衍生）, 'krogh'（克罗格）, 
        'piecewise_polynomial'（分段多项式）,'pchip'（分段三次Hermite多项式插值）, 'akima'（akima光滑插值）, 
        'cubicspline'（3次样条）。

    **kwargs。传递给插值函数的其他参数。例如： Method 为 'polynomial' 或 'spline' 需要设置 order(阶数)，默认阶数为 3。

    返回
    ----------
    类型: Series，DataFrame 返回输入类型；list, tuple 返回 array。

    '''

  根据帮助说明，我们只需带入原始数据（Data），设置异常值（FillValue）和插值方法（Method）即可获得相应结果。

Data = gma.math.FillNoData(Data, FillValue = 1.2, Method = 'linear')
print(Data)

  插值结果与 < 2 缺失值插补 > 结果一致。

[0.223985  0.223985  0.223985  0.233396  0.227466  0.229259  0.230329
 0.231399  0.22672   0.225723  0.224726  0.212029  0.236226  0.229548
 0.236484  0.248894  0.266551  0.275269  0.274135  0.270156  0.3743545
 0.478553  0.590506  0.721067  0.7600655 0.799064  0.742108  0.804224
 0.83514   0.777888  0.734315  0.700915  0.602857  0.553114  0.397294
 0.318083  0.289676  0.253421  0.25891   0.24601   0.23812   0.238319
 0.238759  0.232261  0.253731  0.236231 ]

  简单做个图，我们看一下插值结果。

plt.plot(X, Data, color = 'gray')

在这里插入图片描述

4 总结

  本文使用了简单的 interp1d（scipy） 的插值方法（不考虑gma），当然，如果专门做数据处理，其实pandas的interpolate也非常好用。

相关链接：
1、自建 | 地理与气象数据分析（geographic and meteorological data analysis）（gma）的说明与使用
2、自建 | gma库详细帮助
3、自建 | gma库更新日志

机器学习数据预处理：缺失值插值方法及Python实现
BUG？不存在的！
05-03 2033
插值法是最常用的缺失值填充方法之一，其思想是使用数据中已有的信息来推测缺失位置的值。其中，线性插值假设缺失位置与其它位置是线性关系，而多项式插值则假设关系是高阶多项式。本文将介绍三种常用的缺失值填充方法：插值法、拉格朗日插值和lagrange插值，并提供Python代码示例。lagrange插值也是一种多项式插值方法，其基本思想是通过已知数据点来构造一个满足需要的多项式。与拉格朗日插值不同的是，两者的计算方式不同。综上所述，本文介绍了三种填充缺失值的方法：插值法、拉格朗日插值和lagrange插值。
【数据修复指南】手把手教你使用线性插值填补各类遥感数据缺失—Modis、Landsat和Sentinel
amyniez的博客，欢迎交流讨论
09-28 1177
之前我写了使用年内均值或者中值来填补数据控制的方法，这种方法较为简单，不够精确。因此，我在这里结合所学知识提供一种线性插值的方法。线性插值假设在两个已知数据点之间的数据变化是均匀的，通过直线连接这两个点，并据此估算中间点的值。这种方法在数据缺失较少且缺失点两侧都有有效数据时效果较好。本研究以成都市成华区作为感兴趣区，选择MODIS和Landsat8数据进行线性插值。
python插值填补缺省值_数据预处理：PySpark 的实现线性插值填充缺失值
weixin_39877581的博客
12-09 2260
数据预处理：PySpark 的实现线性插值填充缺失值1. Python 实现线性插值填充缺失值实现函数为：def linear_insert(x1, y1, x2, y2, insert_x):if type(insert_x) == int:insert_x = [insert_x]k = (y2 - y1) / (x2 - x1)return [k * (x - x1) + y1 for x ...
数据预处理实战：插值法填补缺失值与标记填充位置
最新发布
weixin_42405592的博客
03-12 1235
本文还有配套的精品资源，点击获取 简介：在人工智能和机器学习中，数据预处理是关键环节，尤其是处理缺失值。本项目专注于使用插值法填补缺失值，并标记填充位置以保障数据完整性和模型可解释性。插值技术包括线性插值、最近邻插值、多项式插值和样条插值等，它们根据数据的不同特性选用。通过Python的 pandas 库实现插值，并创建新列来标记填充位置，进而提升数据处理和机...
缺失值插补解释：六种插补方法？
gongdiwudu的专栏
09-04 1万+
让我们谈谈每个数据科学家、分析师或好奇的数字计算者迟早必须处理的事情：缺失值。现在，我知道你在想什么 — “哦，太好了，又一个缺失值指南。但请听我说。我将向您展示如何使用不一种、两种而是六种不同的插补方法来解决这个问题，所有这些都在单个数据集上（还有有用的视觉效果！到最后，您将明白为什么领域知识物有所值（即使是我们的 AI 朋友也可能难以复制）
数据预处理：PySpark 的实现线性插值填充缺失值
XnCSD的博客
06-06 3159
数据预处理：PySpark 的实现线性插值填充缺失值 1. Python 实现线性插值填充缺失值 实现函数为： def linear_insert(x1, y1, x2, y2, insert_x): if type(insert_x) == int: insert_x = [insert_x] k = (y2 - y1) / (x2 - x1) retur...
eviews如何处理缺失数据填补_数据处理——缺失值处理
weixin_39894778的博客
12-19 2769
此文图方便，就直接输入数据了。importpandas as pddf = pd.DataFrame({'一班':[90,80,66,75,99,55,76,78,98,None,90],'二班':[75,98,100,None,77,45,None,66,56,80,57],'三班':[45,89,77,67,65,100,None,75,64,88,99]})1缺失值处理#如何判断缺失值df....
python均值插补法填补缺失值_Python机器学习之数据预处理——缺失值填充
weixin_39962758的博客
11-27 960
1.线性回归法填补缺失值#随机生成一个线性回归数据from sklearn.datasets import make_regressionX,Y=make_regression(n_samples=100, n_features=1,n_targets=1,noise=10.5,random_state=1)import matplotlib.pyplot as pltplt.scatter( ...
线性插补法查找
szfhy的博客
12-21 8681
利用线性插值的方法找到要比较元素的位置。 写段code吧，暂时没有发现这种方法有啥优点。 #include #include #include int find_best_mid(int *list, int low, int high, int key) { int gap; int n1, n2, n3; gap = ceil(sqrt((float)high - (
python时间序列进行线性插值_利用python对时间序列中缺失值进行线性插值
weixin_39785165的博客
11-29 529
开门见山的说时间序列每天对应一个数值点，但是有时候会有缺失值，比如：2020-04-10 y=1002020-04-12 y=120这里4月11号的信息是缺失的，目标是对这个缺失值进行线性填值，得到：2020-04-11 y=110有时候，也有可能连续缺失几天信息，比如：2020-04-10 y=1002020-04-13 y=115这样就需要填充两天，得到：2020-04-11 y=...
数据预处理之缺失值的插值法#matlab
m0_56619132的博客
06-04 3108
当数据集中存在缺失值时，插值法可以作为一种处理手段。它可以根据已知的数据点，推断出缺失值的可能值。常见的插值方法包括等。然而，插值法在处理缺失值时需要注意，插值法不适用于缺失大量数据的情况，即一般情况下，只会用到一维和二维插值，因此本文只介绍interp1,interp2；一般的插值方法有：‘nearest’最邻近插值；‘linear’线性插值；‘spline’三次样条插值；‘cubic’立方插值；
缺失值的插补方法
liuhaikang的博客
01-12 3462
本文翻译自：6.4. Imputation of missing values — scikit-learn 1.0.2 documentation 因为各种原因，许多真实数据集包含缺失值，经常被编码成空格，NaN, 或者其他占位符。 然而，这样的数据集与scikit学习估计器不兼容，后者假设数组中的所有值都是数值，并且都有意义。使用不完整数据集的基本策略是丢弃包含缺失值的整行和/或整列。然而，这是以丢失可能有价值（即使不完整）的数据为代价的。更好的策略是插补缺失值，即从数据的已知部分推断缺失值。有关插
数据预处理 第3篇：数据预处理（使用插补法处理缺失值）
wuyy0224的博客
10-05 1万+
插补法可以在一定程度上减少偏差，常用的插补法是热卡插补、拟合插补和多重插补。拟合插补，要求变量间存在强的相关性；多重插补（MCMC法），是在高缺失率下的首选插补方法，优点是考虑了缺失值的不确定性。热卡填充（Hot deck imputation）也叫就近补齐，对于一个包含空值的对象，热卡填充法在完整数据中找到一个与它最相似的对象，然后用这个相似对象的值来进行填充。通常会找到超出一个的相似对象，在所有匹配对象中没有最好的，而是从中随机的挑选一个作为填充值。这个问题关键是不同的问题可能会选用不同的标准来对相似进
【电机绘图】:插补算法（一）—直线插补—逐点比较法
NULL指向我的博客
08-08 1万+
介绍插补算法的基础，直线的插补，逐点比较法的学习，本文提供直线插补的概念基础，基本思路分析，C语言实现等，代码会直接贴出！
Java 线性插值填充缺失点
Smileyan's blog
11-05 1万+
问题描述 已知时间戳与对应的值，需要根据时间戳找到缺失的点，然后进行值的填充。 例如： timestamp value 1 1.0 2 2.0 / / 4 4.0 5 5.0 / / / / 8 8.0 9 9.0 填充其中三个缺失的地方分别： timestamp value / 3.0 / 6.0 / 7.0 源码 <!-- https://mvnrepository.com/artifact/org.apache.co
Python3：线性插补数据
pantingd的博客
06-09 3083
插值填充： 所谓的插值法就是通过两点（x0，y0），（x1，y1）估计中间点的值，假设y=f(x)是一条直线，通过已知的两点来计算函数f(x),然后只要知道x就能求出y，以此方法来估计缺失值。当然我们也可以假设f(x)不是直线，而是其他函数。 import pandas as pd data = pd.read_csv(r'D:\Users\DUANPT\Desktop\voltage.csv',encoding= 'gb2312') #读取自己的文件，记得更改为自己的文件所在的路径，encoding='g
面板数据缺失填补-stata实现线性插值法过程
热门推荐
m0_71334485的博客
10-16 7万+
stata线性插值法填补面板数据
缺失值插补法|多重插补、回归插补、贝叶斯插补
qq_44623115的博客
08-03 5602
缺失值是连续的，即定量的类型，才可以使用回归来预测。**似然函数：**基于已知的数据（即所有学生的语文和英语成绩，以及部分学生的数学成绩），我们构建似然函数，描述观测数据与模型参数之间的关系。**先验分布：**我们对线性模型的参数（如系数和截距）设定先验分布，通常选择共轭先验，如正态分布或t分布，以简化计算。：首先，算法会对每个变量的缺失值进行初步估计，这可以通过简单的方法如均值插补或中位数插补来完成。**缺失值估计：**最后，对于每个缺失的数学成绩，我们从后验分布中抽样，以得到缺失值的估计。
线性插值法补充空缺值原理
01-19
### 线性插值法补充空缺值原理 线性插值是一种简单而有效的方法，用于估计两个已知数据点之间的未知数值。这种方法假设在这两点之间存在线性关系。 对于给定的时间序列或其他有序的数据集中的缺失值，线性插值通过连接相邻的有效观测值得到一条直线，并沿这条直线上找到对应于缺失位置处的新值作为填补结果[^1]。 具体来说，在Python中可以使用`scipy.interpolate.interp1d`函数来创建一个线性的内插器对象，该对象接受输入数组的索引及其对应的值，指定kind参数为'linear'表示采用线性方式计算： ```python from scipy import interpolate def fill_missing_linear(data_series): # 创建线性插值器 f = interpolate.interp1d( data_series.dropna().index, # 排除NaN后的索引 data_series.dropna().values, # 排除NaN后的实际值 bounds_error=False, fill_value="extrapolate", kind='linear' ) # 对整个序列应用插值 filled_data = pd.Series(f(range(len(data_series))), index=data_series.index) return filled_data ``` 此代码片段展示了如何定义一个名为`fill_missing_linear()`的功能，它接收带有潜在NA/NaN条目的Pandas Series `data_series`作为参数；接着构建了一个基于非缺失部分建立起来的一维线性插值模型；最后返回一个新的Series实例，其中所有的原始缺失项都被相应位置上的预测值所替代。 当面对更复杂的情况比如分布式环境下的大数据集时，则可能需要用到像Apache Spark这样的框架来进行高效运算。此时可以通过自定义转换逻辑配合RDD API完成相似的任务[^2]。 值得注意的是，虽然线性插值易于理解和实现，但在某些情况下可能会引入偏差特别是当真实世界现象并不遵循严格的线性趋势的时候。因此，在选择合适的填补策略之前应当充分考虑目标变量特性以及应用场景需求[^3]。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

洛的地理研学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值