数据缺失值的补齐（代码）

最新推荐文章于 2022-06-19 22:14:52 发布
最新推荐文章于 2022-06-19 22:14:52 发布
阅读量4.8k 收藏 22
点赞数 3
分类专栏： 数据缺失值处理 文章标签： python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/supper_xiao_l/article/details/105887868
版权
本文介绍了如何使用Python处理时间序列数据中的缺失值（NaN）。通过采用平均值插值法，即利用缺失值前后四天的平均值进行填补，来解决这一问题。代码思路分为两种情况：一是当缺失值周围有数据时，直接取平均值；二是当周围无数据时，使用其他年份同一天的数据进行平均补全。提供的代码虽然简单，但对数据预处理有参考价值。
摘要由CSDN通过智能技术生成

数据缺失值的补齐（代码）

在做时间序列模型的建模以及其他模型的建模时，我们经常会碰到拟合数据存在缺失值（nan）的情况，直接删除存在缺失值的条目大多数情况下不太合理，因此需要对缺失值进行补齐（插值），补齐数据的方法有很多，比如用固定值（0等）代替、平均值、最大值等，下面介绍用平均值进行插值的python代码。

思路：用缺失值前后四天的数据的平均值对缺失值进行插值。
代码编写思路：
1.如果缺失值当天的前后四天有数据，则用当天前后四天的平均值进行补齐。
2.如果缺失值当天的前后四天没有数据，则用其他所有年份的当天的前后四天的数据的平均值补进行齐。

代码部分：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
讲码德的lx
关注
  • 3
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据库后台编程技术：填补代码
12-14
First 设在SQL Server 2008某数据库中有商品表和销售表，表的定义如下： CREATE TABLE 商品表( 商品号 char(10) PRIMARY KEY, 商品名 char(20) NOT NULL, 销售总量 int DEFAULT 0) CREATE TABLE 销售表( 商品号 char(10), 销售时间 datetime, 销售数量 int NOT NULL, PRIMARY KEY(商品号,销售时间), FOREIGN KEY(商品号) REFERENCES 商品表(商品号)) 现要创建一个具有如下功能的触发器：每当
pandas24 combine_first组合数据（补齐缺失值）（ tcy）
tcy-阿春
12-31 819
============================================================ 1.函数 df.combine_first(other)#组合两个df，调用非空值。 # 结果索引列将是相应索引和列的并集；df的值优先 参数other : DataFrame 返回：合并 DataFrame ================================...
补全要查询的最大数据和最小数据的中间值
weixin_46482128的博客
04-07 314
补全要查询的最大数据和最小数据的中间值
数据清洗_第一篇 缺失值处理（4）_自回归滑动平均模型 ARMA
Blog of Mary Sun
11-23 3086
目录 1. 时序滞后阶数 2. ARMA 模型 3. 建立ARIMA模型的步骤 1. 时序滞后阶数 时序的滞后阶数即向后追溯的观测值的数量。0阶滞后项(Lag 0)代表没有移位的时序，一阶滞后(Lag1)代表时序向左移动一位，二阶滞后(Lag2)代表时序向左移动两位，以此类推。时序可以通过lag(ts,k)函数变成k阶滞后，其中ts指代目标序列，k为滞后项阶数。 2. ARMA 模型 自回归滑动平均模型（Autoregressivemovingaverage model，简称：ARMA模型..
缺失值填充1——缺失值查看、确定值填充、参考值填充
呆萌的代Ma
12-17 1166
可以参考：https://blog.csdn.net/weixin_35757704/article/details/89280715 查看缺失值 可以通过下面的代码得到缺失值的数量： dataframe.isnull().sum() 也可通过简单的 .info() 来看缺失值的情况； 下面的代码可以得到 dataframe的缺失值占比情况：为0就表示没有缺失值 dataframe.isnull().sum()/len(dataframe) 缺失值在进行求和时，会被默认视为0 确定值填充 使用 0 填充
数据处理之缺失值填充
12-21
数据处理是数据分析中的关键步骤，而缺失值处理是数据预处理的重要环节。缺失值的产生可能源于各种原因，如数据采集不完整、设备故障、人为疏忽等。处理缺失值有多种方法，每种方法都有其适用场景和优缺点。 1. **...
数据分析方法 1.缺失值填充
01-20
2. 数据补齐： - 人工填写：适用于小规模数据，人工核实并填充，效果较好但工作量大。 - 特殊值填充：用特定值（如“未知”）代替缺失值，可能导致数据偏斜。 - 平均值/众数填充：数值属性用平均值，非数值属性用...
Pandas缺失值2种处理方式代码实例
09-16
当我们处理实际数据时，经常会遇到缺失值的问题。缺失值可能是由于数据收集不完整、测量错误或某些特殊情况导致的。Pandas提供了多种处理缺失值的方法，本篇文章将重点探讨其中的两种：删除和替换。 1. 删除缺失值 ...
python实现数据预处理之填充缺失值的示例
09-20
### Python 实现数据预处理之填充缺失值 在数据分析与机器学习项目中，数据预处理是十分关键的一个步骤。预处理通常包括清洗数据、转换数据格式、填充缺失值等操作。其中，填充缺失值是非常常见的一项任务，因为它...
python实现数据清洗(缺失值与异常值处理)
09-18
此外，在代码片段中也使用了Pandas库中的isnull()方法来检测缺失值，并采用了一种简单的方法，即将缺失值替换为一个固定的数值（例如36）。处理缺失值时，重要的是要了解缺失数据产生的原因，并根据数据的特点和分析...
缺失数据多重插补处理方法的算法实现.pdf
12-27
文章在简要介绍EM算法的基础上，对MCMC算法，特别是DA算法实现缺失数据补全做了深入探讨，介绍了DA算法迭代模拟过程，并对DA算法与EM算法进行了比较。
数学建模常用算法
yillc的专栏
09-01 2万+
数学建模中常用的方法：类比法、二分法、差分法、变分法、图论法、层次分析法、数据拟合法、回归分析法、数学规划（线性规划，非线性规划，整数规划，动态规划，目标规划）、机理分析、排队方法、对策方法、决策方法、模糊评判方法、时间序列方法、灰色理论方法、现代优化算法（禁忌搜索算法，模拟退火
数据读取及预处理方法-缺失值处理、独热编码、重复值处理、异常值检测
Sun123234的博客
06-19 2410
数据读取及预处理方法-缺失值处理、独热编码、重复值处理、异常值检测
数模数据中缺失值补充问题
Gin_loves_math的博客
10-13 1821
类型一：KNN（k-nearest neighbor）算法 一．KNN（k-nearest neighbor）算法的具体思想，流程及优劣 k指的是离此点最近的k个点，用这k个点的值估计此点的缺失值（常用平均值法）。 流程： 1） 计算已知类别数据集中的点与当前点之间的距离（欧式距离） 2） 按距离递增次序排序 3） 选取与当前点距离最小的k个点 4） 统计前k个点所在的类别出现的频率 5） 返回前k个点出现频率最高的类别作为当前点的预测分类 二．K值确定： 使用十重交叉验证：在得出k=1，2……的填好缺失值
插值法补齐缺失数据_[建模教程] 新手进阶建模（8）数据的预处理 第一部分
weixin_31960565的博客
12-16 604
数据预处理有四个任务，数据清洗、数据集成、数据 变换和数据规约 本节先讲数据第一个：数据清洗数据清洗包括1.缺失值处理 2.异常值处理; 其中缺失值的处理有3种：不处理(做建模铁定不选)，删除(可以考虑)，数据补差(99%的同僚选择)而补差的方式主要用下面的5类，重点是第五个，插值法 1. 补插均值/中位数/众数 2. 使用固定值. ...
近七日趋势展示(数据小于7天，补全日期与相应数据)
qq_38530648的博客
07-12 430
近七日趋势展示(数据小于7天，补全日期与相应数据) 最近做项目遇到一个问题，就是获取近七日趋势数据的展示，从数据库中查询出满足条件的数据有几条就返回几条，如果条数<7，就会缺失相应日期与该日期对应的数据，在前端界面上显示就会不太美观。接下来就针对上述问题进行处理，如果数据库返回的数据的条数小于7，则补全缺少的日期，该日期对应的数据为0。 获取近七日日期的工具类 public static Set<String> getBeforeDayTimeOnlyDayList() {
【时间序列】时间序列数据的缺失填补方法总结
热门推荐
AI蜗牛车
05-20 4万+
在前几次分享中我们知道，很多时序算法都依赖完整的时序数据进行建模，许多业务也需要数据保持完整性，以更好地进行可视化与分析。然而在真实场景中，由于采集能力或网络传输的原因，时序数据常常会有缺...
缺失数据填补基础方法（1）——k-Nearest Neighbors (kNN) 填补
Wendy的博客
06-07 8558
kNNImputer类提供了使用k-Nearest Neighbors（KNN）算法完成缺失值的填补。每个样本的缺失值都是使用在训练集中找到的n_neighbors个近邻的值来估算的，请注意，如果一个样本缺少多个特征，则该样本可以会有多组n_neighbors邻域供体，具体取决于填补的特定特征。......
机器学习数据预处理之缺失值：后向填充
data+scenario+science+insight
08-21 685
机器学习数据预处理之缺失值：后向填充 garbage in, garbage out. 没有高质量的数据，就没有高质量的数据挖掘结果，数据值缺失是数据分析中经常遇到的问题之一。当缺失比例很小时，可直接对缺失记录进行舍弃或进行手工处理。但在实际数据中，往往缺失数据占有相当的比重。这时如果手工处理非常低效，如果舍弃缺失记录，则会丢失大量信息，使不完全观测数据与完全观测数据间产生系统差异，对这样的数据进行分析，你很可能会得出错误的结论。 缺失值的后向填充； pandas.DataFrame.bfi
Matlab使用随机森林补齐数据中缺失值代码
最新发布
03-24
这是一段 Matlab 使用随机森林算法进行数据补齐的示例代码，其中缺失值会被随机森林算法自动填充。 ```matlab % 假设数据矩阵为 A，其中包含缺失值 NaN % 假设需要补全的列为 col X = A(:, ~isnan(A(1,:))); % 非 NaN 列作为输入 Y = A(:, col); % 缺失值列作为输出 [bag rfParams] = rpclassificationforest(250, X, Y); % 训练随机森林，这里使用了 rpclassificationforest 函数 Y_fill = predict(bag, A(:, ~isnan(A(1,:)))); % 使用训练好的随机森林对样本进行预测，其中将填充 NaN 的自变量设为 mean A_fill = A; A_fill(:, col) = Y_fill; % 填充缺失值 ``` 另外需要注意的是，上面代码中的 `rpclassificationforest` 函数是由统计与机器学习 Toolbox 提供的函数，需要先安装并导入该 Toolbox 才能正常使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值