python_时间序列_重采样及频率转换

最新推荐文章于 2022-05-06 10:06:02 发布
最新推荐文章于 2022-05-06 10:06:02 发布
阅读量2.4k 收藏 5
点赞数 1
分类专栏： Python pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wj1298250240/article/details/103347621
版权
Python 同时被 2 个专栏收录
123 篇文章 1 订阅
订阅专栏
pandas
38 篇文章 2 订阅
订阅专栏

python_时间序列_重采样及频率转换

Resampling and Frequency Conversion¶
# 11.6 重采样及频率转换
# 重采样（resampling）指的是将时间序列从⼀个频率转换到另⼀
# 个频率的处理过程。将⾼频率数据聚合到低频率称为降采样
# （downsampling），⽽将低频率数据转换到⾼频率则称为升采
# 样（upsampling）。并不是所有的重采样都能被划分到这两个⼤
# 类中。例如，将W-WED（每周三）转换为W-FRI既不是降采样
# 461
# 也不是升采样。
# pandas对象都带有⼀个resample⽅法，它是各种频率转换⼯作
# 的主⼒函数。resample有⼀个类似于groupby的API，调⽤
# resample可以分组数据，然后会调⽤⼀个聚合函数：
​
rng = pd.date_range('2000-01-01', periods=100, freq='D')
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ts
ts.resample('M').mean()
ts.resample('M', kind='period').mean()
---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
<ipython-input-2-617dc4111608> in <module>()
     11 # resample可以分组数据，然后会调⽤⼀个聚合函数：
     12 
---> 13 rng = pd.date_range('2000-01-01', periods=100, freq='D')
     14 ts = pd.Series(np.random.randn(len(rng)), index=rng)
     15 ts

NameError: name 'pd' is not defined
Downsampling
# 降采样
# 463
# 将数据聚合到规律的低频率是⼀件⾮常普通的时间序列处理任
# 务。待聚合的数据不必拥有固定的频率，期望的频率会⾃动定义
# 聚合的⾯元边界，这些⾯元⽤于将时间序列拆分为多个⽚段。例
# 如，要转换到⽉度频率（'M'或'BM'），数据需要被划分到多个单
# ⽉时间段中。各时间段都是半开放的。⼀个数据点只能属于⼀个
# 时间段，所有时间段的并集必须能组成整个时间帧。在⽤
# resample对数据进⾏降采样时，需要考虑两样东⻄：
# 各区间哪边是闭合的。
# 如何标记各个聚合⾯元，⽤区间的开头还是末尾。
import pandas as pd
import numpy as np
rng = pd.date_range('2000-01-01', periods=12, freq='T')
ts = pd.Series(np.arange(12), index=rng)
ts
2000-01-01 00:00:00     0
2000-01-01 00:01:00     1
2000-01-01 00:02:00     2
2000-01-01 00:03:00     3
2000-01-01 00:04:00     4
2000-01-01 00:05:00     5
2000-01-01 00:06:00     6
2000-01-01 00:07:00     7
2000-01-01 00:08:00     8
2000-01-01 00:09:00     9
2000-01-01 00:10:00    10
2000-01-01 00:11:00    11
Freq: T, dtype: int32
假设你想要通过求和的⽅式将这些数据聚合到“5分钟”块中：
# 假设你想要通过求和的⽅式将这些数据聚合到“5分钟”块中：
ts.resample('5min', closed='right').sum()
1999-12-31 23:55:00     0
2000-01-01 00:00:00    15
2000-01-01 00:05:00    40
2000-01-01 00:10:00    11
Freq: 5T, dtype: int32
传⼊的频率将会以“5分钟”的增量定义⾯元边界。默认情况下，⾯
# 元的右边界是包含的，因此00:00到00:05的区间中是包含00:05
# 的。传⼊closed='left'会让区间以左边界闭合：
# 传⼊的频率将会以“5分钟”的增量定义⾯元边界。默认情况下，⾯
# 元的右边界是包含的，因此00:00到00:05的区间中是包含00:05
# 的。传⼊closed='left'会让区间以左边界闭合：
ts.resample('5min', closed='right').sum()
1999-12-31 23:55:00     0
2000-01-01 00:00:00    15
2000-01-01 00:05:00    40
2000-01-01 00:10:00    11
Freq: 5T, dtype: int32
# 最终的时间序列是以各⾯元右边界的时间戳进⾏标记
# 的。传⼊label='right'即可⽤⾯元的邮编界对其进⾏标记：
ts.resample('5min', closed='right', label='right').sum()
2000-01-01 00:00:00     0
2000-01-01 00:05:00    15
2000-01-01 00:10:00    40
2000-01-01 00:15:00    11
Freq: 5T, dtype: int32
最后，你可能希望对结果索引做⼀些位移，⽐如从右边界减去⼀
# 秒以便更容易明⽩该时间戳到底表示的是哪个区间。只需通过
# loffset设置⼀个字符串或⽇期偏移量即可实现这个⽬的：
# 最后，你可能希望对结果索引做⼀些位移，⽐如从右边界减去⼀
# 秒以便更容易明⽩该时间戳到底表示的是哪个区间。只需通过
# loffset设置⼀个字符串或⽇期偏移量即可实现这个⽬的：
ts.resample('5min', closed='right',
            label='right', loffset='-1s').sum()
1999-12-31 23:59:59     0
2000-01-01 00:04:59    15
2000-01-01 00:09:59    40
2000-01-01 00:14:59    11
Freq: 5T, dtype: int32
Open-High-Low-Close (OHLC) resampling
OHLC重采样
# ⾦融领域中有⼀种⽆所不在的时间序列聚合⽅式，即计算各⾯元
# 的四个值：第⼀个值（open，开盘）、最后⼀个值（close，收
# 盘）、最⼤值（high，最⾼）以及最⼩值（low，最低）。传⼊
# how='ohlc'即可得到⼀个含有这四种聚合值的DataFrame。整个
# 过程很⾼效，只需⼀次扫描即可计算出结果：
# OHLC重采样
# ⾦融领域中有⼀种⽆所不在的时间序列聚合⽅式，即计算各⾯元
# 的四个值：第⼀个值（open，开盘）、最后⼀个值（close，收
# 盘）、最⼤值（high，最⾼）以及最⼩值（low，最低）。传⼊
# how='ohlc'即可得到⼀个含有这四种聚合值的DataFrame。整个
# 过程很⾼效，只需⼀次扫描即可计算出结果：
ts.resample('5min').ohlc()
open	high	low	close
2000-01-01 00:00:00	0	4	0	4
2000-01-01 00:05:00	5	9	5	9
2000-01-01 00:10:00	10	11	10	11
Upsampling and Interpolation
升采样和插值
# 在将数据从低频率转换到⾼频率时，就不需要聚合了。我们来看
# ⼀个带有⼀些周型数据的DataFrame：
# 升采样和插值
# 在将数据从低频率转换到⾼频率时，就不需要聚合了。我们来看
# ⼀个带有⼀些周型数据的DataFrame：
frame = pd.DataFrame(np.random.randn(2, 4),
                     index=pd.date_range('1/1/2000', periods=2,
                                         freq='W-WED'),
                     columns=['Colorado', 'Texas', 'New York', 'Ohio'])
frame
Colorado	Texas	New York	Ohio
2000-01-05	-0.149378	-0.509131	-1.183238	0.278487
2000-01-12	-0.600444	3.604595	1.125173	-1.316800
当你对这个数据进⾏聚合，每组只有⼀个值，这样就会引⼊缺失
# 值。我们使⽤asfreq⽅法转换成⾼频，不经过聚合：
# 当你对这个数据进⾏聚合，每组只有⼀个值，这样就会引⼊缺失
# 值。我们使⽤asfreq⽅法转换成⾼频，不经过聚合：
df_daily = frame.resample('D').asfreq()
df_daily
Colorado	Texas	New York	Ohio
2000-01-05	-0.149378	-0.509131	-1.183238	0.278487
2000-01-06	NaN	NaN	NaN	NaN
2000-01-07	NaN	NaN	NaN	NaN
2000-01-08	NaN	NaN	NaN	NaN
2000-01-09	NaN	NaN	NaN	NaN
2000-01-10	NaN	NaN	NaN	NaN
2000-01-11	NaN	NaN	NaN	NaN
2000-01-12	-0.600444	3.604595	1.125173	-1.316800
假设你想要⽤前⾯的周型值填充“⾮星期三”。resampling的填充
# 和插值⽅式跟fillna和reindex的⼀样：
# 假设你想要⽤前⾯的周型值填充“⾮星期三”。resampling的填充
# 和插值⽅式跟fillna和reindex的⼀样：
frame.resample('D').ffill()
Colorado	Texas	New York	Ohio
2000-01-05	-0.149378	-0.509131	-1.183238	0.278487
2000-01-06	-0.149378	-0.509131	-1.183238	0.278487
2000-01-07	-0.149378	-0.509131	-1.183238	0.278487
2000-01-08	-0.149378	-0.509131	-1.183238	0.278487
2000-01-09	-0.149378	-0.509131	-1.183238	0.278487
2000-01-10	-0.149378	-0.509131	-1.183238	0.278487
2000-01-11	-0.149378	-0.509131	-1.183238	0.278487
2000-01-12	-0.600444	3.604595	1.125173	-1.316800
这⾥也可以只填充指定的时期数（⽬的是限制前⾯的观测
# 值的持续使⽤距离）：
# 这⾥也可以只填充指定的时期数（⽬的是限制前⾯的观测
# 值的持续使⽤距离）：
frame.resample('D').ffill(limit=2)
Colorado	Texas	New York	Ohio
2000-01-05	-0.149378	-0.509131	-1.183238	0.278487
2000-01-06	-0.149378	-0.509131	-1.183238	0.278487
2000-01-07	-0.149378	-0.509131	-1.183238	0.278487
2000-01-08	NaN	NaN	NaN	NaN
2000-01-09	NaN	NaN	NaN	NaN
2000-01-10	NaN	NaN	NaN	NaN
2000-01-11	NaN	NaN	NaN	NaN
2000-01-12	-0.600444	3.604595	1.125173	-1.316800
注意，新的⽇期索引完全没必要跟旧的重叠：
# 注意，新的⽇期索引完全没必要跟旧的重叠：
frame.resample('W-THU').ffill()
Colorado	Texas	New York	Ohio
2000-01-06	-0.149378	-0.509131	-1.183238	0.278487
2000-01-13	-0.600444	3.604595	1.125173	-1.316800
Resampling with Periods
通过时期进⾏重采样
# 对那些使⽤时期索引的数据进⾏重采样与时间戳很像：
# 通过时期进⾏重采样
# 对那些使⽤时期索引的数据进⾏重采样与时间戳很像：
frame = pd.DataFrame(np.random.randn(24, 4),
                     index=pd.period_range('1-2000', '12-2001',
                                           freq='M'),
                     columns=['Colorado', 'Texas', 'New York', 'Ohio'])
frame[:5]
annual_frame = frame.resample('A-DEC').mean()
annual_frame
Colorado	Texas	New York	Ohio
2000	-0.125607	0.239264	0.159813	-0.175475
2001	-0.053293	-0.190562	-0.136178	-0.115108
升采样要稍微麻烦⼀些，因为你必须决定在新频率中各区间的哪
# 端⽤于放置原来的值，就像asfreq⽅法那样。convention参数默
# 认为'end'，可设置为'start'：
# 升采样要稍微麻烦⼀些，因为你必须决定在新频率中各区间的哪
# 端⽤于放置原来的值，就像asfreq⽅法那样。convention参数默
# 认为'end'，可设置为'start'：
# Q-DEC: Quarterly, year ending in December
annual_frame.resample('Q-DEC').ffill()
annual_frame.resample('Q-DEC', convention='end').ffill()
Colorado	Texas	New York	Ohio
2000Q4	-0.125607	0.239264	0.159813	-0.175475
2001Q1	-0.125607	0.239264	0.159813	-0.175475
2001Q2	-0.125607	0.239264	0.159813	-0.175475
2001Q3	-0.125607	0.239264	0.159813	-0.175475
2001Q4	-0.053293	-0.190562	-0.136178	-0.115108
由于时期指的是时间区间，所以升采样和降采样的规则就⽐较严
# 格：
# 在降采样中，⽬标频率必须是源频率的⼦时期
# （subperiod）。
# 在升采样中，⽬标频率必须是源频率的超时期
# （superperiod）。
# 如果不满⾜这些条件，就会引发异常。这主要影响的是按季、
# 年、周计算的频率。例如，由Q-MAR定义的时间区间只能升采
# 样为A-MAR、A-JUN、A-SEP、A-DEC等：
# 由于时期指的是时间区间，所以升采样和降采样的规则就⽐较严
# 格：
# 在降采样中，⽬标频率必须是源频率的⼦时期
# （subperiod）。
# 在升采样中，⽬标频率必须是源频率的超时期
# （superperiod）。
# 如果不满⾜这些条件，就会引发异常。这主要影响的是按季、
# 年、周计算的频率。例如，由Q-MAR定义的时间区间只能升采
# 样为A-MAR、A-JUN、A-SEP、A-DEC等：
annual_frame.resample('Q-MAR').ffill()
Colorado	Texas	New York	Ohio
2000Q4	-0.125607	0.239264	0.159813	-0.175475
2001Q1	-0.125607	0.239264	0.159813	-0.175475
2001Q2	-0.125607	0.239264	0.159813	-0.175475
2001Q3	-0.125607	0.239264	0.159813	-0.175475
2001Q4	-0.053293	-0.190562	-0.136178	-0.115108
2002Q1	-0.053293	-0.190562	-0.136178	-0.115108
2002Q2	-0.053293	-0.190562	-0.136178	-0.115108
2002Q3	-0.053293	-0.190562	-0.136178	-0.115108
炼丹师666
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python升采样和插值_重采样和插值
weixin_42323064的博客
01-29 898
在理解如何将数据重新采样为小时速率而不是现在的4小时数据块时，仍被困在一项任务上。这是我们要求做的。在差异ENTRIES和EXITS字段保存每周不重置为零的原始计数。我们想知道4小时内有多少出入口。要计算这个值，我们需要计算具有相同(UNIT，C/A，SCP)键的相邻行之间的差异。创建存储这些数字的NUM_ENTRIES和NUM_EXITS列。在提示：移位法很有用。在进行转换时使用groupby会...
python升采样和插值_python+pandas生成指定日期和重采样的方法
weixin_34779181的博客
03-02 665
python 日期的范围、频率、重采样以及频率转换pandas有一整套的标准时间序列频率以及用于重采样、频率推断、生成固定频率日期范围的工具。生成指定日期范围的范围pandas.date_range()用于生成指定长度的DatatimeIndex：1)默认情况下，date_range会按着时间间隔为天的方式生成从给定开始到结束时间的时间戳数组；2)如果只指定开始或结束时间，还需要periods标定...
Python数据分析实战【第三章】2.13-时间序列 - 重采样【python】
Caption C
04-23 938
【课程2.13】 时间序列 - 重采样 将时间序列从一个频率转换为另一个频率的过程，且会有数据的结合 降采样：高频数据 → 低频数据，eg.以天为频率的数据转为以月为频率的数据 升采样：低频数据 → 高频数据，eg.以年为频率的数据转为以月为频率的数据 1.重采样：.resample() # 创建一个以天为频率的TimeSeries，重采样为按2天为频率 rng = pd.date_range...
Python Pandas时间序列和重采样
qq_41782791的博客
05-07 545
import pandas as pd import numpy as np import matplotlib.pyplot as plt from datetime import datetime from datetime import timedelta 获取现在时间 now = datetime.now() print(now) print(now.year, now.month, ...
Python对数据进行插值和下采样
热门推荐
renjunsong0的博客
02-13 3万+
使用python对数据进行上下采样
Pandas时间序列:重采样及频率转换方式
09-18
Pandas时间序列分析是数据分析中的重要工具，尤其在处理金融数据时，经常需要对时间序列数据进行重采样和频率转换。重采样是将数据从一个时间频率转换到另一个频率的过程，分为降采样和升采样。降采样是将高频数据...
Python时间序列分析测试数据及代码.zip
05-24
例如，可以使用`pd.to_datetime()`函数将字符串转换为日期格式，然后利用`Series.resample()`对数据进行重采样，如按日、周、月等频率聚合数据。 这个压缩包中可能包含以下文件： 1. **测试数据文件**：可能是CSV...
python时间序列数据转为timestamp格式的方法
09-16
现在，`"时间"`列已经成为DataFrame的索引，可以进行时间序列相关的操作，如切片、重采样等。 处理完成后，我们得到的时间序列数据已经转化为timestamp格式，便于进行各种时间序列分析，如趋势分析、周期性检测、...
python+pandas生成指定日期和重采样的方法
01-20
python 日期的范围、频率、重采样以及频率转换 pandas有一整套的标准时间序列频率以及用于重采样、频率推断、生成固定频率日期范围的工具。 生成指定日期范围的范围 pandas.date_range()用于生成指定长度的...
python Pandas库基础分析之时间序列的处理详解
09-19
而重采样则允许我们将数据按照新的时间频率重新采样，例如从日频数据转换为月频数据。重采样操作通常涉及聚合函数，如求和、平均值等： ```python df.resample('M').sum() # 将日频数据按月求和 df.resample('M')....
python_批量重采样
07-20
python_批量重采样 python_批量重采样 python_批量重采样 python_批量重采样
python 抽样函数_python中resample函数实现重采样和降采样代码
weixin_35756637的博客
02-19 552
函数原型resample(self, rule, how=None, axis=0, fill_method=None, closed=None, label=None, convention=‘start', kind=None, loffset=None, limit=None, base=0, on=None, level=None)比较关键的是rule,closed,label下面会随着两...
Python|遥感影像重投影与重采样、样本矢量转栅格、样本栅格扩充与原始影像相同大小
weixin_46493028的博客
03-10 4155
使用gdal的gis一些基本处理，可以用来制作深度学习样本集之类的
python数据扩充:gamma+重采样+旋转+镜像
04-03 1979
训练的时候因为数据出现问题，把做数据扩充的重新整理了一下，应该一步步检查的。1、gamma变换调节图像对比度""" ================================= Gamma and log contrast adjustment ================================= This example adjusts image contrast by p...
python规则网格插值不规则边界_在Python中将不规则间隔的数据重采样到规则网格...
weixin_33841498的博客
02-21 1012
把你的代码示例和你的问题标题比较，我觉得你有点困惑。。。在您的示例代码中，您正在创建规则网格化的随机数据，然后将其重新采样到另一个规则网格。你的例子中没有任何不规则的数据。。。(另外，代码没有按原样运行，您应该查看^{}，而不是循环生成x&y网格。)如果您想重新采样一个已经定期采样的网格，就像您在示例中所做的那样，有比griddata或下面我将要描述的任何方法更有效的方法。(^{}非常适合...
python 图像处理之插值 最近邻、双线性、双三次
AcceptedLin的博客
12-05 1万+
        python 图像处理之插值 最近邻、双线性、双三次 1.最近邻： import cv2 import numpy as np def function(img): height,width,channels =img.shape emptyImage=np.zeros((2048,2048,channels),np.uint8) sh=2048/he...
【python】数据重采样技巧：自定义概率分布采样
MaxeeoveCR的博客
05-06 1580
碎碎念 近期做数据处理的时候准备尝试下根据标签分布构建自定义采样概率来缓解data imbalance问题。 举个例子，比如有一个标签类别 年龄 = {幼年, 青年, 中年, 老年}，某场景下标签分布为 {100, 4000, 8000, 2000}，构建一种自定义采样概率 {0.528, 0.155, 0.122, 0.195}，如何依据这种自定义概率分布进行多次采样呢？ 函数 random.choices(population,weights=None,*,cum_weights=None,k=1)
图像重采样和插值
zxygenesis的博客
12-17 2529
下采样 动机：图像太大，想要生成小一点的图像版本 图像子采样（下采样）：每隔一行一列丢弃一行一列，以创建一个1/2大小的图像 存在的问题 当采样率不够高, 就无法捕获图像中的细节 ，会生成错误的信号/图像-混叠 避免混淆: 采样率≥2 * 图像中的最大频率 （奈奎斯特率） 若以因子2做下采样原始，且图像的频率太高，就会发生混叠 解决方案 先对图像进行滤波，再进行下采样 上采样 动机：想将...
python怎么处理nc文件_python中的.nc文件处理 | 01 NetCDF4格式介绍
weixin_26841957的博客
02-20 2280
NetCDF4格式介绍什么是netCDF数据？NetCDF (network Common Data Form)是一种”自我描述”的数据结构，即元数据或数据描述包含在文件本身中，并且可以通过编程方式进行解析，这意味着可以使用代码访问这些数据，从而构建自动化和可重复的工作流。NetCDF文件可以存储多维数据，通过包含地理空间图像、栅格、地形数据、气候数据和文本的数组来存储不同类型的数据。这些数组支持...
时间序列重采样python
最新发布
10-13
时间序列重采样是指将时间序列从一个频率转换为另一个频率的过程。在Python中，可以使用pandas库中的resample()函数来进行时间序列重采样。 例如，将一个按天采样的时间序列重采样为按周采样的时间序列，可以使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值