2015-04-09-时间序列(1)-日期和时间数据类型及工具+时间序列基础+日期的范围、频率以及移动

from pandas import DataFrame,Series
import numpy as np
import pandas as pd
-----------------------------------------------------------------------------------------
-----(一)、日期和时间数据类型及工具
--datetime.datetime
from datetime import datetime
now=datetime.now()
now
now.year,now.month,now.day
--datetime.timedelta 两个datetime对象之间的时间差:
delta=datetime(2011,1,7)-datetime(2008,6,24,8,15)


delta=datetime(2007,6,24,8,10)-datetime(2008,6,24,8,11)
delta
delta.days
delta.seconds


--给datetime对象加上(或减去)一个或多个timedelta
from datetime import timedelta
start=datetime(2011,1,7)
start+timedelta(12)
start-2*timedelta(12)


-------------------
date 以公历形式存储日历日期(年、月、日)
time 将时间存储为时、分、秒、毫秒
datetime 存储日期和时间
timedelta 表示两个datetime值之间的差(日、秒、毫秒)
-------------------
------字符串和datetime的相互转换
--str或strftime方法  日期转换为字符串
stamp=datetime(2011,1,3)
str(stamp)
stamp.strftime('%Y-%m-%d')
--strptime将字符串转换为日期
value='2011-01-03'
datetime.strptime(value,'%Y-%m-%d')
datestrs=['7/6/2011','8/6/2011']
[datetime.strptime(x,'%m/%d/%Y') for x in datestrs]
--dateutil.parser.parse方法
from dateutil.parser import parse
parse('2011-01-03')
parse('Jan 31,1997 10:45 PM')
parse('6/12/2011',dayfirst=True)


--pandas的 to_datetime方法
datestrs
pd.to_datetime(datestrs)
可以处理缺失值
idx=pd.to_datetime(datestrs+[None])
idx
idx[2]
pd.isnull(idx)


------------------------------------
datetime格式定义
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%I 时(12小时制)[01,12]
%M 2位数的分[00:59]
%S 秒[00,61](秒60和秒61用于闰秒)
%w 用整数表示的星期几[0,6]
%U 每年的第几周[0,53]。星期天被认为是每周的第一天,每年第一个星期天之前的那几天被认为是第0周
%W 每年的第几周[0,53]。星期一被认为是每周的第一天,每年第一个星期一之前的那几天被认为是第0周
%z 以+HHMM或-HHMM表示的UTC时区偏移量,如果时区为native，则返回空字符串
%F %Y-%m-%d简写形式
%D %m/%d/%y简写形式


特定于当前环境的日期格式
%a 星期几的简写
%A 星期几的全称
%b 月份的简写
%B 月份的全称
%c 完整的日期和时间
%p 不同环境下的AM或PM
%x 适用于当前环境的日期格式
%X 适用于当前环境的时间格式
------------------------------------
-----------------------------------------------------------------------------------------
-----(二)、时间序列基础
from datetime import datetime
dates=[datetime(2011,1,2),datetime(2011,1,5),datetime(2011,1,7),datetime(2011,1,8),datetime(2011,1,10),datetime(2011,1,12)]
ts=Series(np.random.randn(6),index=dates)
ts
type(ts)
ts.index


不同索引的时间序列之间的算术运算会自动按日期对齐
ts+ts[::2]


pandas用NumPy的datetime64数据类型以纳秒形式存储时间戳
ts.index.dtype


DatetimeIndex中的各个标量值是pandas的Timestamp对象:
stamp=ts.index[0]
stamp
-----1.索引、选取、子集构造
stamp=ts.index[2]
ts[stamp]


ts['1/10/2011']
ts['20110110']


longer_ts=Series(np.random.randn(1000),index=pd.date_range('1/1/2000',periods=1000))
longer_ts
longer_ts['2001']
longer_ts['2001-05']


longer_ts['2001-05-21':]
ts[datetime(2011,1,7):]


范围查询
ts
ts['1/6/2011':'1/11/2011']


截取
ts.truncate(after='1/9/2011')


DataFrame
dates=pd.date_range('1/1/2000',periods=100,freq='W-WED')
long_df=DataFrame(np.random.randn(100,4),index=dates,columns=['a','b','c','d'])
long_df.ix['5-2001']


-----2.带有重复索引的时间序列
dates=pd.DatetimeIndex(['1/1/2000','1/2/2000','1/2/2000','1/2/2000','1/3/2000'],dayfirst=True)
dup_ts=Series(np.arange(5),index=dates)
dup_ts


dup_ts.index.is_unique


grouped=dup_ts.groupby(level=0)
grouped.mean()
grouped.count()


-----------------------------------------------------------------------------------------
-----(三)、日期的范围、频率以及移动
转换为具有固定频率(每日)的时间序列
ts
ts.resample('D')
-----1.生成日期范围
index=pd.date_range('4/1/2012','6/1/2012')
index
pd.date_range(start='4/1/2012',periods=20)
pd.date_range(end='6/1/2012',periods=20)


生成由每月最后一个工作日组成的日期索引
pd.date_range('1/1/2000','12/1/2000',freq='BM')


date_range默认会保留起始和结束时间戳的时间信息
pd.date_range('5/2/2012 12:56:31',periods=5)


规范化到0点0分0秒
pd.date_range('5/2/2012 12:56:31',periods=5,normalize=True)


-----2.频率和日期偏移量
from pandas.tseries.offsets import Hour,Minute
hour=Hour()
hour


four_hours=Hour(4)
four_hours


pd.date_range('1/1/2000','1/3/2000 23:59',freq='4h')


Hour(2)+Minute(30)


频率字符串
pd.date_range('1/1/2000',periods=10,freq='1h30min')


时间序列的基础频率 如下图


-----3.WOM日期
每月第3个星期五
rng=pd.date_range('1/1/2012','9/1/2012',freq='WOM-3FRI')
list(rng)


-----4.移动(超前和滞后)数据
ts=Series(np.random.randn(4),index=pd.date_range('1/1/2000',periods=4,freq='M'))
ts
ts.shift(2)
ts.shift(-2)


shift通常用于计算一个时间序列或多个时间序列中的百分比变化
ts/ts.shift(1)-1


实现对时间戳进行位移
ts.shift(2,freq='M')


ts.shift(3,freq='D')
ts.shift(1,freq='3D')
ts.shift(1,freq='90T')


-----4.通过偏移量对日期进行位移
from pandas.tseries.offsets import Day,MonthEnd
now=datetime(2011,11,17)
now+3*Day()


now+MonthEnd()
now+MonthEnd(2)


offset=MonthEnd()
offset.rollforward(now)
offset.rollback(now)


ts=Series(np.random.randn(20),index=pd.date_range('1/15/2000',periods=20,freq='4d'))
ts.groupby(offset.rollforward).mean()


ts.resample('M',how='mean')