Pandas中时间序列缺失如何处理？

最新推荐文章于 2024-07-25 17:41:17 发布
最新推荐文章于 2024-07-25 17:41:17 发布
阅读量7.1k 收藏 41
点赞数 12
分类专栏： pandas小技巧 文章标签： python 数据分析
copy@sandwich
本文链接：https://blog.csdn.net/qq_35189715/article/details/103568885
版权

补齐时间序列

Table of Contents

处理数据时我们总会遇到令人头疼的时间序列，一方面我们遇到看着是时间又不是时间格式的数据需要我们将其转化为时间格式。另一方面就是这次讨论的时间序列缺失的问题。

👉处理时间格式

  • 准备我们的数据：

数据地址

import numpy as np
import pandas as pd

时间索引缺失如何补齐？

# 数据可以自行下载
file = r'timeseries.csv'
df = pd.read_csv(file, index_col=0)
df
ABCD
2019/10/11 0:0028142515
2019/10/11 1:0011111426
2019/10/11 3:0015121417
2019/10/11 4:0016101412
2019/10/11 6:0024111326
2019/10/11 8:0021292922
2019/10/11 9:0018181725

明显时间索引有缺失的情况，我们可以使用reindex()来处理：

  1. 确保索引是时间格式
  2. 得到完整的时间序列
  3. reindex补齐

为什么要确保时间格式？我们生成的序列要保证时间完整只能使用时间格式，除非自己手动实现复杂的算法。reindex要求两者数据一致，否则你会得到全NAN数据。

df.index

Index(['2019/10/11 0:00', '2019/10/11 1:00', '2019/10/11 3:00',
       '2019/10/11 4:00', '2019/10/11 6:00', '2019/10/11 8:00',
       '2019/10/11 9:00'],
      dtype='object')

# 创建完整的时间格式
t_index = pd.date_range('2019-10-11 00:00:00', '2019-10-11 09:00:00', freq='H')
df.reindex(t_index)
ABCD
2019-10-11 00:00:00NaNNaNNaNNaN
2019-10-11 01:00:00NaNNaNNaNNaN
2019-10-11 02:00:00NaNNaNNaNNaN
2019-10-11 03:00:00NaNNaNNaNNaN
2019-10-11 04:00:00NaNNaNNaNNaN
2019-10-11 05:00:00NaNNaNNaNNaN
2019-10-11 06:00:00NaNNaNNaNNaN
2019-10-11 07:00:00NaNNaNNaNNaN
2019-10-11 08:00:00NaNNaNNaNNaN
2019-10-11 09:00:00NaNNaNNaNNaN

由于CSV文本文件，我们也看到数据类型不对的情况下，全NaN的结果。

  • 重新获取数据，并实现时间格式解析
df = pd.read_csv(file, parse_dates=[0], index_col=0)
df
ABCD
2019-10-11 00:00:0028142515
2019-10-11 01:00:0011111426
2019-10-11 03:00:0015121417
2019-10-11 04:00:0016101412
2019-10-11 06:00:0024111326
2019-10-11 08:00:0021292922
2019-10-11 09:00:0018181725
df.index # 解析成时间格式了

DatetimeIndex(['2019-10-11 00:00:00', '2019-10-11 01:00:00',
               '2019-10-11 03:00:00', '2019-10-11 04:00:00',
               '2019-10-11 06:00:00', '2019-10-11 08:00:00',
               '2019-10-11 09:00:00'],
              dtype='datetime64[ns]', freq=None)
  • 使用完整的时间reindex
df.reindex(t_index)
ABCD
2019-10-11 00:00:0028.014.025.015.0
2019-10-11 01:00:0011.011.014.026.0
2019-10-11 02:00:00NaNNaNNaNNaN
2019-10-11 03:00:0015.012.014.017.0
2019-10-11 04:00:0016.010.014.012.0
2019-10-11 05:00:00NaNNaNNaNNaN
2019-10-11 06:00:0024.011.013.026.0
2019-10-11 07:00:00NaNNaNNaNNaN
2019-10-11 08:00:0021.029.029.022.0
2019-10-11 09:00:0018.018.017.025.0
df.reindex(t_index, fill_value=0) # 使用0填充缺失值
ABCD
2019-10-11 00:00:0028142515
2019-10-11 01:00:0011111426
2019-10-11 02:00:000000
2019-10-11 03:00:0015121417
2019-10-11 04:00:0016101412
2019-10-11 05:00:000000
2019-10-11 06:00:0024111326
2019-10-11 07:00:000000
2019-10-11 08:00:0021292922
2019-10-11 09:00:0018181725

需要补齐的时间序列不是索引？

我们无法保证所有的情况都是使用时间格式作为索引的，那么在这样的情况下我们应该怎么办？

df = pd.read_csv(file, parse_dates=[0], names=list('TABCD'), skiprows=[0])
df
TABCD
02019-10-11 00:00:0028142515
12019-10-11 01:00:0011111426
22019-10-11 03:00:0015121417
32019-10-11 04:00:0016101412
42019-10-11 06:00:0024111326
52019-10-11 08:00:0021292922
62019-10-11 09:00:0018181725

我们手动将时间列命名成"T"

我们可以使用merge()实现：

# 创建一个待混合的数据帧
T_df = pd.DataFrame(t_index, columns=['T'])
T_df
T
02019-10-11 00:00:00
12019-10-11 01:00:00
22019-10-11 02:00:00
32019-10-11 03:00:00
42019-10-11 04:00:00
52019-10-11 05:00:00
62019-10-11 06:00:00
72019-10-11 07:00:00
82019-10-11 08:00:00
92019-10-11 09:00:00
df.merge(T_df, how='right', sort=True)
TABCD
02019-10-11 00:00:0028.014.025.015.0
12019-10-11 01:00:0011.011.014.026.0
22019-10-11 02:00:00NaNNaNNaNNaN
32019-10-11 03:00:0015.012.014.017.0
42019-10-11 04:00:0016.010.014.012.0
52019-10-11 05:00:00NaNNaNNaNNaN
62019-10-11 06:00:0024.011.013.026.0
72019-10-11 07:00:00NaNNaNNaNNaN
82019-10-11 08:00:0021.029.029.022.0
92019-10-11 09:00:0018.018.017.025.0

使用merge的注意点：

  • merge(right)， 中right：T_df必须是数据帧(DataFrame)，而且列名保持一致
  • sort=True: 保证时间序列的正确
  • 这是实现vlookup的翻版，属于讨巧的办法，如果您有更优雅的方式实现请留言，不甚感激！！！
码码的哈士奇
关注
专栏目录
python pandas 对时间序列文件处理的实例
09-20
今天小编就为大家分享一篇python pandas 对时间序列文件处理的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python——pandas——date_range函数（时间序列缺失值操作）
huangguohui_123的博客
03-20 2236
pandas.date_range(start=None, end=None, periods=None, freq='D', tz=None, normalize=False, name=None, closed=None, **kwargs) 该函数主要用于生成一个固定频率的时间索引，在调用构造方法时，必须指定start、end、periods中的两个参数值，否则报错。 主要参数说明： ...
【时间数据预处理】利用pandas对缺失的时间日期值进行补全
最新发布
qq_45128278的博客
07-25 269
以上数据在分钟级别存在值缺失，想进行补全。使用resample进行重采样。
pandas补全时间序列的值（按日期补全）
weixin_40529493的博客
12-14 5611
现有数据：可见日期不连续 补全后：日期连续，缺失值用0填充 实现方法： data = pd.read_table(r"./origdata/14-03-statics.txt", converters={'acc': str}) data = pd.DataFrame(data) print(data) data['date'] = pd.to_datetime(data['date']) mux = pd.MultiIndex.from_product([data['acc'].unique(), p
用pandas填充时间序列缺失值
小猴子的博客
02-24 2236
用pandas填充时间序列缺失值 例如，下有时间缺失值： Date_time current_demand Temp_Mean humidity_Mean 0 2018-05-01 00:00 15951.0 300.904267 49.600000 1 2018-05-01 00:15 16075.0 300.904267 49.600000 2 2018-05-01 00:30 1
Pandas: 2、时间序列处理
qingyuanluofeng的专栏
04-14 784
  #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 4/14/18 4:16 PM # @Author : Aries # @Site : # @File : timeseries_demo.py # @Software: PyCharm ''' pandas时间序列 参考: https://blog....
pandas时间序列
J-X的博客
08-23 290
时间序列是一种重要的结构化数据形式。 时间序列的数据意义取决于应用的场景: 1.时间戳(timestamp)  : 特定的时刻 2.固定时期(period),如2018年的8月 3.时间间隔(interval):   由起始的时间戳和结束的时间戳决定.时期（period）可以被看作时间间隔的特列，因为时间间隔过长，可以去这样想 可能我们经常见到或用到的索引就是时间戳。   1.日期和...
pandas常用笔记-清洗数据，补充缺失时间的数据
Smilelulinlin的博客
10-28 808
去重，时间补充
pandas基础一 --------属性、缺失数据处理、时间序列
抱富的博客
04-23 1025
二、DataFrame 1、概念 DataFrame数据表是一种2维数据结构。 其中data、index、columns分别为数据、行索引和列索引 2、创建 使用字典创建(行索引由index决定，列索引由字典的键决定) dict={ 'Province': ['Guangdong', 'Beijing', 'Qinghai', 'Fujian'], 'pop': [1.3, 2.5...
Python时间序列缺失值的处理方法（日期缺失填充）
09-18
本篇文章将探讨如何在Python中处理时间序列中的日期缺失值，即“时间序列缺失值的填充”。 首先，我们需要确保Python环境中已安装必要的库，如`pandas`和`datetime`。`pandas`库是处理数据集的强大工具，而`...
Pandas（Python库）：时间序列数据处理
kkchenjj的博客
07-18 859
时区，是地球上的一个区域采用的统一时间标准，通常基于该区域与格林尼治子午线的经度差异。全球分为24个时区，每个时区相隔15度经度，时间相差1小时。时区的引入，是为了协调不同地理位置的日期和时间，确保全球时间的一致性和可比性。在Pandas中，对象支持时区信息，这在处理跨时区的时间序列数据时尤为重要。时区信息可以使用IANA时区数据库中的时区名称来指定，如或。在Pandas中处理时间序列数据时，正确管理时区信息是确保数据准确性和一致性的关键。通过使用Timestamp对象和其相关方法，如。
pandas对缺失数据的处理、数据序列、字符串处理
03-12
pandas对缺失数据的处理、数据序列、字符串处理
Pandas中数据的缺失处理
peteryoung1989的博客
06-23 1852
在pandas数据处理中，数据值缺失是经常面临的问题。如何查找、处理缺失值就成了数据处理的必备方法。 一、缺失值类型 Pandas中缺失值主要有三种符号：np.nan、None和NaT。 np.nan是缺失值的一种符号，nan意为not a number。它不等于任何东西，包括它本身。其次，在使用equals函数进行比较时，会自动略过两侧全是np.nan的单元格。再次，它在numpy中的类型为浮点，由此导致数据集读入时，即使原来是整数的列，只要有缺失值就会变为浮点型。此外，对于布尔类型的列表，如果是n
pandas之时间序列 / 缺失值 基础知识
酱紫煲饭~
06-21 5966
Step 1. Import the necessary libraries In [30]: import pandas as pd Step 2. Import the dataset from this address. Step 3. Assign it to a variable called In [31]: url = 'https://raw.githubusercon...
pandas 读CSV时间转换问题的终极解决
qq_58832911的博客
04-24 6215
常见pandas读SCV时间格式转换的问题，和时间object类型的时间的转换丢失精度问得的解决。
Pandas 二十四：怎么处理日期索引的缺失？
cai_and_luo的博客
05-25 726
Pandas 二十四：怎么处理日期索引的缺失？问题：如果缺失了索引该怎么填充？方法1：使用pandas.reindex方法1、将df的索引变成日期索引2、使用pandas.reindex填充缺失的索引方法2：使用pandas.resample方法1、先将索引变成日期索引2、使用dataframe的resample的方法按照天重采样 问题：按日期统计的数据，缺失了某天，导致数据不全该怎么补充日期？ 可以用两种方法实现： 1、DataFrame.reindex，调整dataframe的索引以适应新的索引 2、D
python 读csv 数据丢失_通过pandas的read_csv（）读取数据时丢失“秒”信息
weixin_39906499的博客
01-13 1662
我试图读取一个简单的数据，其中几乎只有两列：id和timestamp因为我的时间戳有秒，所以我想保存这些信息。所以我读了很多文章，比如：还有更多。。。。在以下是我在阅读完这里的所有信息后得到的：我首先创建了一个短函数来帮助我解析时间戳数据，然后在调用read_csv()函数时使用它。在def dateparse (timestamp):return pd.datetime.strptime(tim...
Python数据处理-使用Pandas补齐缺失日期（pd.date_range）
热门推荐
不想做数分的码农不是好运营
03-08 1万+
在处理时间序列的数据中，有时候会遇到有些日期的数据缺失的情况，这时候可以用pandas的 `date_range` 函数快速补齐缺失日期，再根据实际情况补齐缺失值。
MySQL 二级索引会不会自动补齐主键
weixin_33953384的博客
09-23 174
开篇：一直对Mysql 二级索引是否自动加入主键问题有怀疑，今天又时间就5.5和5.6分析了一把：mysql>selectversion(); +------------+ |version()| +------------+ |5.6.16-log| mysql>createtablet9( ->idintnotnull...
pandas处理时间序列的缺失值
01-16
在Pandas中处理时间序列的缺失值可以使用fillna()函数来填充缺失值。下面是一个示例： ```python import pandas as pd # 创建一个时间序列 dates = pd.date_range('2021-01-01', '2021-01-10') data = [1, 2, None, 4, 5, None, 7, 8, 9, None] df = pd.DataFrame({'date': dates, 'value': data}) # 使用fillna()函数填充缺失值 df_filled = df.fillna(method='ffill') # 使用前向填充方法 df_filled = df.fillna(method='bfill') # 使用后向填充方法 df_filled = df.fillna(0) # 使用指定值填充缺失值，这里使用0填充 # 打印填充后的结果 print(df_filled) ``` 这个示例中，我们首先创建了一个时间序列，其中包含了一些缺失值。然后使用fillna()函数来填充缺失值。可以使用不同的填充方法，如前向填充（ffill）、后向填充（bfill）或者使用指定值填充。最后打印填充后的结果。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值