搜博主文章 利用Python进行数据分析——时间序列

原创 2018年04月17日 21:10:16

最常见的时间序列具有如下特征:
- 时间戳,时间的实例
- 有固定的时间间隔,一天,一小时或一分钟
- 有起止点

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from datetime import datetime,timedelta

Python标准库

Python标准库中内置了对时间类型的支持

now=datetime.now()
print(now.year,now.month,now.day)

2018 4 17

datetime类型可以做运算,默认单位为’天’:

time_delta=datetime(2011,1,7)-datetime(2011,1,5)
time_delta.days

2

datetime(2000,1,1)+2*timedelta(5)

datetime.datetime(2000, 1, 11, 0, 0)

datetime与字符串的转换

#datatime2string
stamp=datetime(2011,1,1,13,14,15)
time_str=stamp.strftime('%Y-%m-%d %H:%M:%S')
time_str

‘2011-01-01 13:14:15’

#string2datetime
time_str='2011-01-03 23:30:10'
time=datetime.strptime(time_str,'%Y-%m-%d %H:%M:%S')
time

datetime.datetime(2011, 1, 3, 23, 30, 10)

time_strs=['7/6/2011','8/6/2011']
for time_str in time_strs:
    print(datetime.strptime(time_str,'%m/%d/%Y'))

2011-07-06 00:00:00
2011-08-06 00:00:00

时间序列基本

pandas中最基本的时间序列对象就是以时间戳为行索引的Series:

dates=[datetime(2011,1,2),
       datetime(2011,1,5),
       datetime(2011,1,7)]
ts=pd.Series(np.random.randn(3),index=dates)
ts

2011-01-02 -0.062302
2011-01-05 0.020653
2011-01-07 -0.296481
dtype: float64

pandas可以很方便地生成一串时间对象:

time_index=pd.date_range('1/1/2011',periods=1000)
time_index

索引、选择、子集

时间序列在索引与选择上与pandas对象基本一致,不过因为时间戳的特殊性,在按时间戳索引时可以有多种不同的格式:

ts.loc['2011-01-05']

0.020653080558353583

ts.loc['20110105']

0.020653080558353583

longer_ts=pd.Series(np.random.randn(1000),pd.date_range('2000-01-01',periods=1000))
#索引出某一月的数据,某年某日类似
longer_ts.loc['2001-02']

#切片索引
longer_ts.loc['20020924':]

2002-09-24 0.556197
2002-09-25 0.895196
2002-09-26 -0.190502
Freq: D, dtype: float64

此处还需要注意的是,同numpy切片索引,连续索引返回的是一个指针引用,只有非连续索引返回的才是一个副本。

日期范围、频率与变换

生成指定范围的日期

pd.date_range('20120401','20120405',freq='D')        #以天为间隔

pd.date_range(start='20120401',periods=5,freq='W-MON')        #以每周一为间隔

pd.date_range(end='20120405',periods=5,freq='W-SAT')        #以每周六为间隔

pd.date_range('20180101',periods=12,freq='BM')        #以每月的最后一个工作日为间隔

pd.date_range('20000101',periods=10,freq='90T')        #以90分钟为间隔

平移数据

ts=pd.Series(np.abs(np.random.randn(4)),index=pd.date_range('20000101',periods=4,freq='M'))
ts.shift(2)        #将数据沿时间轴往后移动两个单位

平移的一个常用用法为计算数据沿时间轴的变化率,如计算以上数据每月的变化率:

(ts.shift(-1)-ts)/ts

shift()方法还可用来更改时间轴:

new_ts=ts.shift(1,freq='D')
new_ts

根据偏移来平移数据

(待补充)

时区处理

时间序列中的时区可能是最令人头疼的工作了。

rng=pd.date_range('20120309 9:30',periods=6,freq='D')
ts=pd.Series(np.random.randn(len(rng)),index=rng)
ts_utc=ts.tz_localize('UTC')        #为无时区的时间戳加上时区
ts_utc

rng_utc=pd.date_range('20120309 9:30',periods=6,freq='D',tz='UTC')        #在生成时间索引时声明时区
ts_utc=pd.Series(np.random.randn(len(rng_utc)),index=rng_utc)
ts_utc

ts_utc.tz_convert('Asia/Shanghai')        #转换时区

在不同时区下操作

如果两个Series拥有不同时区,合并后的结果会是UTC:

rng=pd.date_range('20120307 9:30',periods=5,freq='B')
ts=pd.Series(np.random.randn(len(rng)),index=rng)
ts1=ts.iloc[:3].tz_localize('Europe/London')
ts2=ts.iloc[3:].tz_localize('Europe/Moscow')
(ts1+ts2).index

时期与时期数学

时期代表着一段时间,Period类就代表这种数据结构。

p=pd.Period(2007,freq='A-DEC')        #十二月的最后一天为时期的结束日
print(p+5,p-2)

2012 2005

如果两个Period拥有相同的频率,则其唯一的差异就在于单位的数字:

pd.Period(2014,freq='A-DEC')-p

7

类似于date_range(),可以使用period_range()方法生成时期区间:

rng=pd.period_range('20000101','20000630',freq='M')
pd.Series(np.random.randn(6),index=rng)

时期频率转换

如果我们需要将一个年度时期转换成月度时期,使用asfreq()方法进行时期的频率转换:

p=pd.Period('2007',freq='A-JUN')        #2007年六月的最后一天为时期的结束日
p

Period(‘2007’, ‘A-JUN’)

p.asfreq('M',how='start')        #上述时期的起始月份

Period(‘2006-07’, ‘M’)

p.asfreq('M',how='end')        #上述时期的结束月份

Period(‘2007-06’, ‘M’)

季度时期频率

季度性数据是财政领域的标准时期,季度性数据跟财年结束日相关,财年结束日通常为一年中某月(不一定设在十二月)的最后一个工作日。因此,2012Q4时期会根据不同的财年结束日而指向不同的时期,具体看下图:

p=pd.Period('2012Q4',freq='Q-FEB')        #财年结束日为FEB
print(p.asfreq('D',how='start'),p.asfreq('D',how='end'))        #显示时期的起止日期

2011-12-01 2012-02-29

时间戳与时期的转换

(待补充)

由数组创建时期索引

有时数据集中在一列或多列中包含了时期信息的数据,可以通过这些已有数据来生成时期索引:

data=pd.read_csv('examples/macrodata.csv')
data.sample(5)

year_index=data.loc[:,'year']
year_index.unique()

quarter_index=data.loc[:,'quarter']
quarter_index.unique()

array([1., 2., 3., 4.])

period_index=pd.PeriodIndex(year=year_index,quarter=quarter_index,freq='Q-DEC')
data.index=period_index
data.sample(5)

重采样与频率转换

重采样指的是将一个时间序列的频率进行转换,高频转低频称为下采样,低频转高频称为上采样。resample()方法实际是对时间序列提供了一个类似于groupby()的方法用来按时间戳来聚合数据。

rng=pd.period_range('20000101',periods=100,freq='D')
ts=pd.Series(np.random.randn(100),index=rng)
ts.sample(5)

ts.resample('M',kind='period').mean()        #相当于groupby().mean()

下采样

对时间序列进行下采样是最普遍的任务

rng=pd.date_range('20000101',periods=6,freq='T')
ts=pd.Series(np.arange(len(rng)),index=rng)
ts

重采样返回结果的时间戳为划分区间的左值,而区间是左开右闭还是左闭右开由closd=参数决定。试比较下面两种不同分割方法的区别:

ts.resample('5min',closed='left',label='left').count()

ts.resample('5min',closed='right',label='left').count()

closed='left'的条件下,时间序列被分为[00:00:00,00:05:00)与[00:05:00,00:10:00)两个区间,而在closed='right条件下,被分为(23:55:00,00:00:00]与(00:00:00,00:05:00]两个区间。

区间时间戳的显示值默认为左值,不过可以使用参数label=来更改为右值:

ts.resample('5min',closed='left',label='right').count()

2000-01-01 00:05:00 5
2000-01-01 00:10:00 1
Freq: 5T, dtype: int64

open-high-low-close(OHLC) 重采样

在金融领域,一种聚合时间序列的常用方法是计算每个分组的四个值:第一个值(open),最后一个值(close),最大值(high),最小值(low):

ts.resample('5min').ohlc()

上采样与插值

当频率由低转高时,没有数据的聚合,而是需要插值。

rng=pd.date_range('20000101',periods=2,freq='W-WED')
frame=pd.DataFrame(np.random.randn(2,4),
                   index=rng,
                   columns=['Colorado','Texas','New York','Ohio'])
frame.resample('D').asfreq()        #上采样时不插值的话会有缺失值

frame.resample('D').ffill()        #前插法插值

可以利用resample()方法+ffill()来改变时间抽:

frame.resample('W-THU').ffill()

时期的重采样

rng=pd.period_range('20000101',periods=14,freq='M')
frame=pd.DataFrame(np.random.randn(len(rng),4),
                   index=rng,
                   columns=['Colorado','Texas','New York','Ohio'])
annual_frame=frame.resample('A-DEC').mean()
#上采样
annual_frame.resample('Q-DEC').ffill()

移动窗口函数

应用于时间序列的重要操作,很多都是基于一个滑动窗口或者权重指数衰减之上的,这有助于平滑噪声或带间隔的数据。

close_px_all=pd.read_csv('examples/stock_px_2.csv',parse_dates=True,index_col=0)
close_px=close_px_all.loc[:,['AAPL','MSFT','XOM']]
close_px=close_px.resample('B').ffill()

close_px.loc[:,'AAPL'].rolling(250).mean().plot()        #以250天为滑动窗口的APPLE股票均价
plt.show()

因为滑动窗口尺寸为250天,所以在前249天是没有数据的,可以在rolling()方法中使用参数min_periods=来指定前期允许的最小窗口数:

close_px.loc[:,'AAPL'].rolling(250,min_periods=10).mean().plot()        #最小允许一个10天的滑动窗口
plt.show()

当对一个DataFrame直接应用rolling()方法时,会单独对DF中的每一列进行操作:

close_px.rolling(100).mean().plot(logy=True)        #开启指数纵坐标
plt.show()

指数加权函数

在很多关于时间序列的应用场景下,我们会更看重最近的值,即最近的值得权重越大,而越久远的值权重越小。我们可以应用ewm()方法来实现与rolling()方法类似的功能,并且是带权重的:

close_px.loc[:,'AAPL'].rolling(30).mean().plot(style='k--',label='Simple MA')
close_px.loc[:,'AAPL'].ewm(30).mean().plot(style='k-',label='EW MA')
plt.show()

二进制移动窗口函数

有些统计学操作,如相关系数或协方差,需要在两个时间序列上操作。举个例子,金融分析师经常会对一只股票与S&P500的关系感兴趣。

spx_px=close_px_all.loc[:,'SPX']
spx_returns=spx_px.pct_change()
returns=close_px.pct_change()

returns.rolling(100,min_periods=50).corr(spx_returns).plot()
plt.show()

用户定义的移动窗口函数

(待补充)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_31823267/article/details/79980893

利用Python进行数据分析-带读书笔记

  • 2017年12月13日 10:15
  • 78.41MB
  • 下载

《利用Python进行数据分析》--时间序列

这是我的个人第一篇博文,以后也会不定期更新。发表的博客涉及个人的学习内容、心得感悟、所见所闻等等。 最近在学习《利用Python进行数据分析》以入门python处理数据的方法。以下为时间序列章节...
  • Shatoo
  • Shatoo
  • 2017-09-30 13:03:11
  • 572

新浪搜博主的文章失败

自己博客文章较多时,需要查阅相关资料,快速找到文章。新浪-博文目录-搜博主的文章,搜不到文章。 设置文章“标签”也不能搜到。   什么是标签?文章标签是一种由您自己定义的,比分类更准确、更具体,可以概...
  • sjpljr
  • sjpljr
  • 2017-04-14 10:12:13
  • 298

利用python进行数据分析-时间序列2

1.带有重复索引的时间序列 dates=pd.DatetimeIndex(['1/1/2000','1/2/2000','1/2/2000','1/2/2000','1/3/2000']) dup...
  • zhuhengv
  • zhuhengv
  • 2016-08-06 21:11:05
  • 1821

利用python进行数据分析-时间序列1

1.日期和时间数据类型及工具 结果为: 2016-07-14 22:03:47.969000 2016 7 14 datetime是以毫秒形式存储日期和时间。datetime.timedelta表示两...
  • zhuhengv
  • zhuhengv
  • 2016-07-29 21:20:43
  • 3442

利用Python进行数据分析

  • 2018年04月08日 17:03
  • 78.42MB
  • 下载

Python时间序列数据分析--以示例说明

本文的内容主要来源于博客:本人做了适当的注释和补充。https://www.analyticsvidhya.com/blog/2016/02/time-series-forecasting-codes...
  • meng_shangjy
  • meng_shangjy
  • 2018-03-27 16:09:46
  • 201

利用Python进行数据分析.pdf

下载地址:网盘下载 图书简介 编辑 从pandas库的数据分析工具开始利用高性能工具对数据进行加载、清理、转换、合并以及重塑;利用matpIotl...
  • cf406061841
  • cf406061841
  • 2017-06-04 23:48:16
  • 2924

《利用Python进行数据分析》中文高清完整PDF版

  • 2014年11月13日 07:29
  • 78.42MB
  • 下载

读书笔记:利用Python进行数据分析【第一章:准备工作】

今天开始学习python,这本数据分析和机器学习实战同步学习,也会在学习过程中同步做读书笔记。 不过话说回来,第一章准备工作没什么好写的就是了。 作为准备工作,要安装书中提到的Python科学...
  • qq_37195507
  • qq_37195507
  • 2017-08-12 19:23:08
  • 205
收藏助手
不良信息举报
您举报文章:搜博主文章 利用Python进行数据分析——时间序列
举报原因:
原因补充:

(最多只允许输入30个字)