数据分析·一 | 用Pandas高效处理时序数据

最新推荐文章于 2024-07-18 06:37:08 发布
最新推荐文章于 2024-07-18 06:37:08 发布
阅读量1k 收藏 5
点赞数 1
分类专栏： python 文章标签： python 大数据 数据挖掘 数据挖掘 特征提取
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43207777/article/details/107228791
版权

数据分析·一 | 用pandas处理时序数据

缘起

笔者最近在一家金融公司的数据部门实习，主要运用 python 的 pandas 进行数据清洗，经过几天的面向百度/开发文档编程，积累了一些经验，特在此总结记录下。

时序数据处理

在金融、经济、物理学等领域，都需要在多个时间点观测或者测量数据，这样就产生了关于时间序列的数据。时间序列数据（Time Series Data）是在不同时间上收集到的数据，这类数据是按时间顺序收集到的，用于描述现象随时间变化的情况。例如我们的银行卡账单、股市的价格、历史降水量数据等都属于时序数据。学会如何对时间序列数据进行巧妙的处理非常重要，Pandas拥有强大的时间序列数据处理的能力。

注意：本文约定已经将pandas以如下方式导入：

import pandas as pd

相关知识介绍

首先我们来了解下pandas中关于时序数据的相关知识，提升自己的姿势水平。

在这里插入图片描述

pandas中包含四种主要的时间相关的数据类型。以下引用翻译自pandas官方文档

pandas拥有了4个与时间相关的概念：

  1. 日期时间：具有时区支持的特定日期和时间。与标准库中的datetime.datetime相似。

  2. 时间增量：绝对持续时间。与标准库中的datetime.timedelta类似。

  3. 时间跨度：由时间点及其相关频率定义的时间跨度。

  4. 日期偏移量：考虑了日历计算的相对持续时间。与dateutil包中的dateutil.relativedelta.relativedelta相似。

这四个概念分别对应的方法如下：

概念标量类数组类pandas Data Type主要的构造方法
时间日期TimestampDatetimeIndexdatetime64[ns] or datetime64[ns, tz]to_datetime or date_range
时间增量TimedeltaTimedeltaIndextimedelta64[ns]to_timedelta or timedelta_range
时间范围PeriodPeriodIndexperiod[freq]Period or period_range
日期偏移量DateOffsetNoneNoneDateOffset
时间日期戳 Timestamp

  • 构造pandas的时间戳

    pd.to_datetime('2020-07-06')
# 将得到如下pandas的内置时间戳
# Timestamp('2020-07-06 00:00:00')

# pandas的to_datetime函数可以解析多种格式的时间字符串
pd.to_datetime('06/07/2020') # 年份在前和日期在前的都可以解析
# 将得到如下pandas的内置时间戳
# Timestamp('2020-06-07 00:00:00')

# 还可以解析unix时间戳
pd.to_datetime(1594044764, unit='s') # 根据unit精度不同可以调整unit参数的值，如ms,ns等
# 将得到如下pandas的内置时间戳
# Timestamp('2020-07-06 14:12:44')

  • 构造时间序列

    pd.date_range('2020-07-01',periods=30,freq='D')
# 将得到如下时间索引
# DatetimeIndex(['2020-07-01', '2020-07-02', '2020-07-03', '2020-07-04',
#              '2020-07-05', '2020-07-06', '2020-07-07', '2020-07-08',
#               '2020-07-09', '2020-07-10', '2020-07-11', '2020-07-12',
#               '2020-07-13', '2020-07-14', '2020-07-15', '2020-07-16',
#               '2020-07-17', '2020-07-18', '2020-07-19', '2020-07-20',
#               '2020-07-21', '2020-07-22', '2020-07-23', '2020-07-24',
#               '2020-07-25', '2020-07-26', '2020-07-27', '2020-07-28',
#               '2020-07-29', '2020-07-30'],
#              dtype='datetime64[ns]', freq='D')
时间增量 Timedelta

主要是用于时间戳的加减运算，和Python原生库 datetime 中的 timedelta 类似，计算的是确定的时间增量。

t1 = pd.to_datetime('06/07/2020')
t2 = pd.to_datetime('30/07/2020')
t2 - t1
# 将得到如下两个日期的时间增量
# Timedelta('53 days 00:00:00')

(t2-t1).days 
# 将得到如下两个日期日期相差天数
# 53

# Timedelata可以直接获得的属性有days，seconds和microseconds，但是seconds不会从days直接转换过来，例如
(t2-t1).seconds
# 0

# Timedelta 还可直接用于时间戳的相加，但是timedelta最大只能到天，不能到月
pd.to_datetime("2020-07-08") + pd.to_timedelta("2 day 2 hour")
# 将得到如下新的时间戳
# Timestamp('2020-07-10 02:00:00')
日期偏移量 DateOffset

日期偏移量DateOffset和Timedelta类似，可以处理时间戳的加减运算。但DateOffset有着更多更强大的功能。
Timedelta只能处理确定的时间增量，例如Timedelta('100 days 15:30:43.121000')，而DataOffset能处理不确定的时间增量，来看看下面的例子：

pd.to_datetime("2020-03-31") - pd.offsets.DateOffset(months=1)
# DateOffset可以处理抽象的日期，例如几个月或者几年，并且可以灵活处理闰年闰月等情况
# Timestamp('2020-02-29 00:00:00')

pd.Timestamp('2020-07-08') + pd.offsets.MonthBegin(n=1)
# MonthBegin可以直接取得后面N个月的月首/MonthEnd对应月尾 
# Timestamp('2020-08-01 00:00:00')

# 这个方法可以用来获得本月的月初或者月末
pd.Timestamp('2020-07-08') - pd.offsets.MonthBegin()
# Timestamp('2020-07-01 00:00:00')

pd.to_datetime("2020-07-08") + 3 * pd.offsets.BDay()
# BDay能够区分周末和工作日，进行相应的增减运算（然而大家周六真的不用加班的嘛？🤣）
Timestamp('2020-07-13 00:00:00')
时间范围 Period

Period 表示时间跨度，即时间段，如年、季、月、日等。关键字 freq 与频率别名可以指定时间段。freq 表示的是 Period 的时间跨度，可以理解为是一个DateOffset。但是freq不能为负，如-3D。

pd.Period(2020,freq='A-DEC')
# Period的参数：
# 时间戳:该 period 在时间轴上的位置
# freq :该 period 的长度，在本例中,“A-DEC”表示以12月作为结束的一整年
# Period('2020', 'A-DEC')

通过加减整数可以实现对Period的移动

# 加减整数
pd.Period(2020,freq='A-DEC') - 2
# Period('2018', 'A-DEC')

时间范围Period的resample方法可以按指定频率进行重采样，类似与groupby方法。
这是一个比较实用的方法，可以看看下面的例子：

import numpy as np

# 构造测试数据
time_idx = pd.date_range('2020-07-01', periods=10, freq='D')
ts = pd.Series(np.random.randint(100,size=len(time_idx)) , index=time_idx)
ts
# 2020-07-01    24
# 2020-07-02    34
# 2020-07-03    71
# 2020-07-04    38
# 2020-07-05     1
# 2020-07-06    30
# 2020-07-07    71
# 2020-07-08     5
# 2020-07-09    29
# 2020-07-10    93
# Freq: D, dtype: int32

# 利用resample按照两天进行汇总
ts.resample("2D").sum()
# 2020-07-01     58
# 2020-07-03    109
# 2020-07-05     31
# 2020-07-07     76
# 2020-07-09    122
# Freq: 2D, dtype: int32

# label默认为left
ts.resample("2D",label="right").sum()
# 2020-07-03     58
# 2020-07-05    109
# 2020-07-07     31
# 2020-07-09     76
# 2020-07-11    122
# Freq: 2D, dtype: int32

# 本例中，closed设置为右闭合，即包括(07-09,07-10],默认为左闭合
ts.resample("2D",closed="right").sum()
# 2020-06-29     24
# 2020-07-01    105
# 2020-07-03     39
# 2020-07-05    101
# 2020-07-07     34
# 2020-07-09     93
# Freq: 2D, dtype: int32

# 按照周进行汇总 (周频率"W"是默认以周日作为一周的结束的)，kind可以指定索引形式，本例设置为时间段
 ts.resample("W",kind='period').sum()
# 2020-06-29/2020-07-05    168
# 2020-07-06/2020-07-12    228
# Freq: W-SUN, dtype: int32

如果目标数据是一个不是以时间作为索引的DataFrame，则指定resample方法的on字段，参看下面的例子：

# 首先构造测试数据
time_range = pd.date_range(start='2020-01-05',periods =100,freq="D")
df = pd.DataFrame({"data":time_range,"value":np.random.randint(1000,size=len(time_range))})
df

得到如下的测试数据：:

datavalue
02020-01-05651
12020-01-06188
22020-01-07661
32020-01-08913
42020-01-09740
………
952020-04-09610
962020-04-10475
972020-04-11316
982020-04-12700
992020-04-13176

100 rows × 2 columns

进行如下resample操作：

df.resample("Q",on="data",kind="period").sum()
# 通过on参数指定要进行resample的字段

得到结果如下：

value
data
2020Q144672
2020Q25918

在上述例子中用到的参数详细介绍如下：

（我知道你肯定不想看的，建议先收藏本文，等你真正要写的时候再来细看）

  • label、loffset 等参数用于生成标签。

    label 指定生成的结果如何为间隔标注起始时间。loffset 调整输出标签的时间。

  • closed表示的是时间段中哪边是闭合的。closed 可以设置为left 或 right，用于指定关闭哪一端间隔。

  • 除了 M、A、Q、BM、BA、BQ、W 的默认值是 right 外，其它频率偏移量的 label 与 closed 默认值都是 left。

  • kind 参数可以是 timestamp 或 period，转换为时间戳或时间段形式的索引。resample 默认保留输入的日期时间形式。

关于resample的更多详细参数说明，可以参考pandas中文文档（非官方）。

大多数 DateOffset 都支持频率字符串或偏移别名，可用作 freq 关键字参数。
有效的日期偏移DateOffset及频率字符串freq如下：

日期偏移量频率字符串说明
DateOffset无通用偏移类，默认为一个日历日
BDay 或 BusinessDay'B'工作日
CDay 或 CustomBusinessDay'C'自定义工作日
Week'W'一周，可选周内固定某日
WeekOfMonth'WOM'每月第几周的第几天
LastWeekOfMonth'LWOM'每月最后一周的第几天
MonthEnd'M'日历日月末
MonthBegin'MS'日历日月初
BMonthEnd或 BusinessMonthEnd'BM'工作日月末
BMonthBegin 或 BusinessMonthBegin'BMS'工作日月初
CBMonthEnd 或 CustomBusinessMonthEnd'CBM'自定义工作日月末
CBMonthBegin 或 CustomBusinessMonthBegin'CBMS'自定义工作日月初
SemiMonthEnd'SM'某月第 15 天（或其它半数日期）与日历日月末
SemiMonthBegin'SMS'日历日月初与第 15 天（或其它半数日期）
QuarterEnd'Q'日历日季末
QuarterBegin'QS'日历日季初
BQuarterEnd'BQ工作日季末
BQuarterBegin'BQS'工作日季初
FY5253Quarter'REQ'零售季，又名 52-53 周
YearEnd'A'日历日年末
YearBegin'AS' 或 'BYS'日历日年初
BYearEnd'BA'工作日年末
BYearBegin'BAS'工作日年初
FY5253'RE'零售年（又名 52-53 周）
Easter无复活节假日
BusinessHour'BH'工作小时
CustomBusinessHour'CBH'自定义工作小时
Day'D'一天
Hour'H'一小时
Minute'T' 或 'min'一分钟
Second'S'一秒
Milli'L' 或 'ms'一毫秒
Micro'U' 或 'us'一微秒
Nano'N'一纳秒

时序数据处理实践

了解了pandas中关于时序数据处理的基本方法，接下来看几个实际的数据处理流程。

  1. 构造测试数据

    import numpy as np
import pandas as pd
time_index = pd.date_range(start='2020-01-05',periods = 366,freq="D")
df = pd.DataFrame({"value":np.random.randint(1000,size=len(time_index))},index=time_index)
df

    所得到的测试数据如下：

    value
    2020-01-05109
    2020-01-0636
    2020-01-07955
    2020-01-08541
    2020-01-09577
    ……
    2020-12-31747
    2021-01-01242
    2021-01-0219
    2021-01-036
    2021-01-04825

    366 rows × 1 columns

    特意将测试数据的时间序列的跨度设置为涵盖了一个闰月，使得天数为366天，但是很明显，该时间序列的跨度没有大于一年

  2. 判断给定时间序列数据的时间跨度是否大于一年

    先看一个错误示范：

    (max(df.index) - min(df.index)).days > 365
# True

    一个最容易想到的但是错误的方法是：直接计算最大最小值的天数差，判断是否大于365天，但出现闰月的时候会出错

    接下来是正确示范：

    max(df.index) - pd.offsets.DateOffset(years=1) >= min(df.index) 
# False

    结果为False，因为 2020-01-05 到 2021-01-04的时间跨度不足一年

  3. 计算特定时间段的数据（如季度，半年等）的均值

    获得按季度统计的均值：

    df.resample('Q',kind="period").sum()
value
2020Q148335
2020Q239703
2020Q348095
2020Q445851
2021Q11092

获得按半年统计的均值：

df.resample('6M',kind="period").sum()
value
2020-0188038
2020-0793946
2021-011092

如果要按照指定的特殊时间进行统计，例如时间序列结束前的两周的总和，可以采用如下方法：

df[max(df.index)-pd.DateOffset(weeks = 2):].sum()
# value    6074
# dtype: int64

参考

你可以在以下网页中找到更多关于Pandas的资料：

  1. pandas官方文档
  2. pandas中文文档（非官方）

如有帮助，欢迎点赞/转载~
（听说给文章点赞的人代码bug特别少👀）
联系邮箱：mrjingcheng@foxmail.com
个人公众号：禅与电脑维修艺术
欢迎关注公众号，也欢迎通过邮箱交流。

禅与电脑维修艺术
关注
专栏目录
Pandas高效化运算与时间序列处理
Junds0的博客
07-27 981
本关任务读取step1/bournemouth_venues.csv文件，获取VenueName列，通过向量化字符串操作得到清洗后的数据。本关任务根据预期输出，创建三种不同索引的数据结构。求上个季度（仅含工作日）的平均值；求每个月末（仅含工作日）的收盘价；求一年期移动标准差。.........
Pandas数据分析一览-短期内快速学会数据分析指南(文末送书)
master_hunter的博客
09-14 1588
三年耕耘大厂数据分析师，有些工具是必须要掌握的，尤其是Python中的数据分析三剑客：Pandas，Numpy和Matplotlib。就以个人经验而已，Pandas是必须要掌握的，它提供了易于使用的数据结构和数据操作工具，使得在Python中处理结构化数据变得更加简单和高效。无论是处理常用的时序数据还是处理金融数据，与各类数据库联动或者是使用各类算法进行计算分析，都离不开Pandas的数据处理支持。作为一名数据分析师几乎每天都得和Pandas打交道，所以学习Pandas避不可避，但是如何高效学习Pandas
Python数据分析与可视化-时令蔬菜时间序列分析-约600行（matplotlib、seaborn可视化、多元回归）.zip
07-10
Python数据分析与可视化项目包括项目源码（含详细说明分析）、数据文件、注意不含视频，可作为数据分析练手项目。或用于数据分析报告、毕业设计素材等。
Educoder--Pandas高效化运算与时间序列处理
m0_47354330的博客
04-02 1481
第1关：字符串操作方法 编程要求 本关的编程任务是补全右侧上部代码编辑区内的相应代码，要求实现如下功能： 读取step1/bournemouth_venues.csv文件，文件说明如下: 列名 说明 Venue Name 场地名 Venue Category 场地类别 Venue Latitude 场地经度 Venue Longitude 场地纬度 以空格切分每个场地名并获取每个切分后列表的最后一个元素作为一个Series； 将所有单词为P开头的值替换为空
Pandas（Python库）：时间序列数据处理
最新发布
kkchenjj的博客
07-18 848
时区，是地球上的一个区域采用的统一时间标准，通常基于该区域与格林尼治子午线的经度差异。全球分为24个时区，每个时区相隔15度经度，时间相差1小时。时区的引入，是为了协调不同地理位置的日期和时间，确保全球时间的一致性和可比性。在Pandas中，对象支持时区信息，这在处理跨时区的时间序列数据时尤为重要。时区信息可以使用IANA时区数据库中的时区名称来指定，如或。在Pandas中处理时间序列数据时，正确管理时区信息是确保数据准确性和一致性的关键。通过使用Timestamp对象和其相关方法，如。
数据分析-基于Python实现的脉搏波数据分析实现.zip
05-05
在数据分析领域，Python语言因其强大的库支持和易读性，成为了进行各种类型数据处理和分析的首选工具。本项目着重探讨如何使用Python来对脉搏波数据进行深度分析。脉搏波是心血管健康的重要指标，它能反映出心脏的...
Python Pandas 时间序列分析
weixin_42098295的博客
01-09 1219
移动窗口是时间序列分析中的一个强大工具，特别适用于趋势分析、数据平滑处理等应用场景。处理时间序列时常用的功能之一是时间频率的转换，包括重采样（Resampling）和频率转换（Frequency Conversion）。重采样是改变时间序列频率的过程，包括将高频率数据转换为低频率（降采样），或将低频率数据转换为高频率（升采样）。Pandas 库中，处理时间数据是一个核心功能，特别是对于时间序列分析。pd.Timedelta 对象表示一个时间间隔，可以用来进行日期和时间的计算。
Pandas统计分析（转换与处理时间序列数据）
01-21
转换与处理时间序列数据pandas时间相关的类Timestamp类型Timestamp的属性Period类型DatetimeIndex与PeriodIndex函数参数DatetimeIndexPeriodIndexTimedelta课堂案例： pandas时间相关的类 原创文章 22获赞 1访问量 1321 关注 私信
python时间日期函数与利用pandas进行时间序列处理详解
12-23
python标准库包含于日期（date）和时间（time）数据的数据类型，datetime、time以及calendar模块会被经常用到。 datetime以毫秒形式存储日期和时间，datetime.timedelta表示两个datetime对象之间的时间差。 下面我们先简单的了解下python日期和时间数据类型及工具 给datetime对象加上或减去一个或多个timedelta，会产生一个新的对象 from datetime import datetime from datetime import timedelta now = datetime.now() now datetime.da
python pandas 对时间序列文件处理的实例
12-24
如下所示： import pandas as pd from numpy import * import matplotlib.pylab as plt import copy def read(filename): dat=pd.read_csv(filename,iterator=True) loop = True chunkSize = 1000000 R=[] while loop: try: data = dat.get_chunk(chunkSize) data=data.loc[:,'B':'C'] # 切片 data=data[data.B==
Python数据挖掘 之 数据处理（使用pandas对智联招聘上的北京地区python岗位进行数据清洗）
徐代龙的技术专栏
05-02 4344
上两篇我们爬了一篇智联招聘的数据，主要是北京地区python开发岗位的数据，数据量不是很大，几千条，这一篇文章我们队智联招聘的数据进行数据处理。 一直以来，我以为的数据处理是已经在python爬虫阶段已经做好了，其实并不是，python爬虫并没有把数据处理这一部分的工作完全给做好，数据处理只是数据挖掘的一小部分，接下来，就是在jupyter notebook上进行数据处理，到中途就卡壳掉...
pandas时序数据分析
qq_29477893的博客
07-01 489
数据是一个每小时广告的点击数 原数据形式如下： 分析 1.整体分析 先按时间顺序将数据进行画图，由于原时间格式不太对，所以先转化一下，这样会比较方便地提取时间信息。 import pandas as pd import matplotlib.pyplot as plt from pylab import * mpl.rcParams['font.sans-serif'] = ['SimHei'] csv_data = pd.read_csv("ads.csv") #转化时间特征 csv_data['d
Pandas时间序列处理
qq_52585260的博客
07-14 1604
pandas时间序列处理
EduCoder Pandas高效化运算与时间序列处理 第3关：Pandas时间序列的高级应用
weixin_43608722的博客
05-26 1917
文章目录任务描述相关知识时间频率与偏移量重新取样、迁移和窗口重新取样时间迁移移动时间窗口编程要求测试说明 任务描述 根据相关知识完成下列任务： 求上个季度（仅含工作日）的平均值； 求每个月末（仅含工作日）的收盘价； 迁移数据365天； 求一年期移动标准差。 相关知识 学习本关卡知识之前，建议先了解matplotlib模块基础知识。 Pandas时间序列工具的基础是时间频率或偏移量代码。就像之前见过的D（day）和H（hour）代码，我们可以用这些代码设置任意需要的时间间隔。 Pandas频率代码表如.
头歌 6. Pandas合并数据集
热门推荐
翻斗恶霸的博客
03-27 1万+
头歌 6. Pandas合并数据集
Python数据分析：Numpy、Pandas入门精华
在实际的数据分析流程中，我们通常会先用Pandas读取和清洗数据，然后利用Numpy进行数值计算，通过Scipy解决特定的科学计算问题，借助Matplotlib进行数据可视化，最后使用Statsmodels或Scikit-learn进行建模和预测。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值