Python数据分析:时间数据重采样

Python数据分析:时间数据重采样

重采样:
  • 将时间序列从一个频率转换到另一个频率得的过程,需要聚合

  • 高频率转换为低频率,downsampling,相反的过程为upsampling

  • pandas中的resample方法实现重采样

    • 产生resample对象

      import pandas as pd
      import numpy as np
      
      date_rng = pd.date_range('20190101', periods=60, freq='D')
      ser_obj = pd.Series(range(len(date_rng)), index=date_rng)
      print(ser_obj.head(10))
      

      运行:
      在这里插入图片描述

    • resample(freq).sum(), resample(freq).mean(),……

      # 统计每个月的数据总和
      resample_month_sum = ser_obj.resample('M').sum()
      # 统计每个月的数据平均
      resample_month_mean = ser_obj.resample('M').mean()
      
      print('按月求和:', resample_month_sum)
      print('按月求均值:', resample_month_mean)
      

      运行:
      在这里插入图片描述

降采样(downsampling):
  • 将数据聚合到规整的低频率

    # 将数据聚合到5天的频率
    five_day_sum_sample = ser_obj.resample('5D').sum()
    
    print('降采样,sum')
    print(five_day_sum_sample)
    

    运行:
    在这里插入图片描述

  • OHLC重采样,open, high, low, close

    five_day_ohlc_sample = ser_obj.resample('5D').ohlc()
    
    print('降采样,ohlc')
    print(five_day_ohlc_sample)
    

    运行:
    在这里插入图片描述

  • 使用groupby降采样

    # 使用groupby降采样
    print(ser_obj.groupby(lambda x: x.month).sum())
    

    运行:
    在这里插入图片描述

升采样:
df = pd.DataFrame(np.random.randn(5, 3),
                 index=pd.date_range('20190301', periods=5, freq='W-MON'),
                 columns=['S1', 'S2', 'S3'])
print(df)

运行:
在这里插入图片描述

  • 将数据从低频率转换到高频率,需要插值,否则为NaN

    # 直接重采样会产生空值
    print(df.resample('D').asfreq())
    

    运行:
    在这里插入图片描述

  • 常用插值方法:

    1. ffill(limit), 空值区前面的值填充,limit为填充个数

      #ffill
      print(df.resample('D').ffill(2))
      

      运行:
      在这里插入图片描述

    2. bfill(limit), 空值取后面的值填充

      print(df.resample('D').bfill())
      

      运行:
      在这里插入图片描述

    3. fillna(‘ffill’) 或 fillna(‘bfill’)

      print(df.resample('D').fillna('ffill'))
      

      运行:
      在这里插入图片描述

    4. interpolate, 根据插值算法补全数据

      print(df.resample('D').interpolate('linear'))
      

      运行:
      在这里插入图片描述

  • 2
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sweeney Chen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值