pandas教程02---Series处理时间

欢迎关注公众号【Python开发实战】，免费领取Python学习电子书！

工具-pandas

pandas库提供了高性能、易于使用的数据结构和数据分析工具。其主要数据结构是DataFrame，可以将DataFrame看做内存中的二维表格，如带有列名和行标签的电子表格。许多在Excel中可用的功能都可以通过编程实现，例如创建数据透视表、基于其他列计算新列的值、绘制图形等。还可以按照列的值对行进行分组，或者像SQL中那样连接表格。pandas也擅长处理时间序列。

但是介绍pandas之前，需要有numpy的基础，如果还不熟悉numpy，可以查看numpy快速入门教程。

导入pandas

import pandas as pd

处理时间

许多数据集都有时间戳，pandas在处理此类数据方面也非常出色：

• 它可以表示时期（如2016年第三季度）和频率（如每月）。
• 它可以将时期转换为实际的时间戳，反之亦然。
• 它可以按照任何方式对数据进行重采样和聚合。
• 它可以处理时区。

时间范围

可以使用pd.date_range()创建一个时间Series，它会返回一个DatetimeIndex，现在创建一个DatetimeIndex，内容为从2021年10月29日下午5:30开始的12小时内每小时的一个datetime。

dates = pd.date_range('2016/10/29 5:30pm', periods=12, freq='H')
dates

输出：

DatetimeIndex(['2016-10-29 17:30:00', '2016-10-29 18:30:00',
               '2016-10-29 19:30:00', '2016-10-29 20:30:00',
               '2016-10-29 21:30:00', '2016-10-29 22:30:00',
               '2016-10-29 23:30:00', '2016-10-30 00:30:00',
               '2016-10-30 01:30:00', '2016-10-30 02:30:00',
               '2016-10-30 03:30:00', '2016-10-30 04:30:00'],
              dtype='datetime64[ns]', freq='H')

DatetimeIndex可以用作Series的索引标签。

temp_series = pd.Series(temperatures, index=dates)
temp_series

输出：

2016-10-29 17:30:00    4.4
2016-10-29 18:30:00    5.1
2016-10-29 19:30:00    6.1
2016-10-29 20:30:00    6.2
2016-10-29 21:30:00    6.1
2016-10-29 22:30:00    6.1
2016-10-29 23:30:00    5.7
2016-10-30 00:30:00    5.2
2016-10-30 01:30:00    4.7
2016-10-30 02:30:00    4.1
2016-10-30 03:30:00    3.9
2016-10-30 04:30:00    3.5
Freq: H, dtype: float64

现在绘制一下这个Series。

temp_series.plot(kind='bar')
plt.grid(True)
plt.show()

重采样

pandas可以非常简单地对时间Series进行重采样。只需要调用resample()方法并制定一个新的频率。

temp_series_freq_2H = temp_series.resample('2H')
temp_series_freq_2H

输出：

DatetimeIndexResampler [freq=<2 * Hours>, axis=0, closed=left, label=left, convention=start, base=0]

重采样操作实际上是一个延迟操作，这就是为什么没有得到一个Series对象，而是一个DatetimeIndexResampler对象。为了实际执行重采样操作，可以调用mean()方法，pandas会计算每对连续小时的平均值。

temp_series_freq_2H = temp_series_freq_2H.mean()
temp_series_freq_2H

输出：

2016-10-29 16:00:00    4.40
2016-10-29 18:00:00    5.60
2016-10-29 20:00:00    6.15
2016-10-29 22:00:00    5.90
2016-10-30 00:00:00    4.95
2016-10-30 02:00:00    4.00
2016-10-30 04:00:00    3.50
Freq: 2H, dtype: float64

现在绘制一下结果。

temp_series_freq_2H.plot(kind='bar')
plt.show()

请注意，这些值是如何自动聚合为以2小时为一个时期的。例如，看一下下午6-8点的时间段，在下午6.30时的值为5.1， 在晚上7.30时的值为6.1，重新采样后只有一个值5.6，即5.1和6.1的平均值。除了计算平均值，还可以使用其他的聚合函数，例如可以保持每个时期的最小值。

temp_series_freq_2H = temp_series.resample('2H').min()
temp_series_freq_2H

输出：

2016-10-29 16:00:00    4.4
2016-10-29 18:00:00    5.1
2016-10-29 20:00:00    6.1
2016-10-29 22:00:00    5.7
2016-10-30 00:00:00    4.7
2016-10-30 02:00:00    3.9
2016-10-30 04:00:00    3.5
Freq: 2H, dtype: float64

还可以使用apply方法。

temp_series_freq_2H = temp_series.resample('2H').apply(np.min)
temp_series_freq_2H

输出：

2016-10-29 16:00:00    4.4
2016-10-29 18:00:00    5.1
2016-10-29 20:00:00    6.1
2016-10-29 22:00:00    5.7
2016-10-30 00:00:00    4.7
2016-10-30 02:00:00    3.9
2016-10-30 04:00:00    3.5
Freq: 2H, dtype: float64

上采样和插值

上面是一个下采样的例子。也可以增加采样（即增加频率），但这会在数据中造成缺失。

temp_series_freq_15min = temp_series.resample('15Min').mean()
temp_series_freq_15min.head(10)    # head（10）显示前10个数据

输出：

2016-10-29 17:30:00    4.4
2016-10-29 17:45:00    NaN
2016-10-29 18:00:00    NaN
2016-10-29 18:15:00    NaN
2016-10-29 18:30:00    5.1
2016-10-29 18:45:00    NaN
2016-10-29 19:00:00    NaN
2016-10-29 19:15:00    NaN
2016-10-29 19:30:00    6.1
2016-10-29 19:45:00    NaN
Freq: 15T, dtype: float64

可以通过差值来填补缺失值。只需要调用interpolate()方法，默认情况下使用线性插值，但是可以选择其他方法，例如立方插值。

temp_series_freq_15min = temp_series.resample('15Min').interpolate(method='cubic')
temp_series_freq_15min.head(10)

输出：

2016-10-29 17:30:00    4.400000
2016-10-29 17:45:00    4.452911
2016-10-29 18:00:00    4.605113
2016-10-29 18:15:00    4.829758
2016-10-29 18:30:00    5.100000
2016-10-29 18:45:00    5.388992
2016-10-29 19:00:00    5.669887
2016-10-29 19:15:00    5.915839
2016-10-29 19:30:00    6.100000
2016-10-29 19:45:00    6.203621
Freq: 15T, dtype: float64

temp_series.plot(label='Period: 1 hour')
temp_series_freq_15min.plot(label='Period: 15 minutes')
plt.legend()
plt.show()

时区

默认情况下，日期时间是无知的：它们不知道时区，所以2021-10-30 02:30可能是巴黎时间也可能是纽约时间。可以通过调用tz_localize()方法来识别日期时间的时区。

temp_series_ny = temp_series.tz_localize('America/New_York')
temp_series_ny

输出：

2016-10-29 17:30:00-04:00    4.4
2016-10-29 18:30:00-04:00    5.1
2016-10-29 19:30:00-04:00    6.1
2016-10-29 20:30:00-04:00    6.2
2016-10-29 21:30:00-04:00    6.1
2016-10-29 22:30:00-04:00    6.1
2016-10-29 23:30:00-04:00    5.7
2016-10-30 00:30:00-04:00    5.2
2016-10-30 01:30:00-04:00    4.7
2016-10-30 02:30:00-04:00    4.1
2016-10-30 03:30:00-04:00    3.9
2016-10-30 04:30:00-04:00    3.5
Freq: H, dtype: float64

请注意，-04:00是附加到所有的日期时间上，这意味着这些日期时间指的是UTC-04小时。现在可以将这些日期时间转为巴黎时间。

temp_series_paris = temp_series_ny.tz_convert('Europe/Paris')
temp_series_paris

输出：

2016-10-29 23:30:00+02:00    4.4
2016-10-30 00:30:00+02:00    5.1
2016-10-30 01:30:00+02:00    6.1
2016-10-30 02:30:00+02:00    6.2
2016-10-30 02:30:00+01:00    6.1
2016-10-30 03:30:00+01:00    6.1
2016-10-30 04:30:00+01:00    5.7
2016-10-30 05:30:00+01:00    5.2
2016-10-30 06:30:00+01:00    4.7
2016-10-30 07:30:00+01:00    4.1
2016-10-30 08:30:00+01:00    3.9
2016-10-30 09:30:00+01:00    3.5
Freq: H, dtype: float64

上面的结果里面UTC偏移量从+02:00变为+01:00，这是因为法国在该特定的夜晚的凌晨3点切换到冬季时间了（时间回到凌晨2点）。请注意，凌晨2:30出现了两次！现在回到一个简单的表示，使用本地时间每小时记录这些数据，而不是存储时区，可能会得到一下结果。

temp_series_paris_native = temp_series_paris.tz_localize(None)
temp_series_paris_native

输出：

2016-10-29 23:30:00    4.4
2016-10-30 00:30:00    5.1
2016-10-30 01:30:00    6.1
2016-10-30 02:30:00    6.2
2016-10-30 02:30:00    6.1
2016-10-30 03:30:00    6.1
2016-10-30 04:30:00    5.7
2016-10-30 05:30:00    5.2
2016-10-30 06:30:00    4.7
2016-10-30 07:30:00    4.1
2016-10-30 08:30:00    3.9
2016-10-30 09:30:00    3.5
Freq: H, dtype: float64

现在02:30很模糊，如果试图将这些日期时间定位到巴黎时区，将会得到一个错误。

try:
    temp_series_paris_native.tz_localize('Europe/Paris')
except Exception as e:
    print(type(e))
    print(e)

输出：

<class 'pytz.exceptions.AmbiguousTimeError'>
Cannot infer dst time from '2016-10-30 02:30:00', try using the 'ambiguous' argument

使用ambiguous参数，可以告诉pandas根据模糊时间戳的顺序推断出正确的DST（夏令时）。

temp_series_paris_native.tz_localize('Europe/Paris', ambiguous='infer')

输出：

2016-10-29 23:30:00+02:00    4.4
2016-10-30 00:30:00+02:00    5.1
2016-10-30 01:30:00+02:00    6.1
2016-10-30 02:30:00+02:00    6.2
2016-10-30 02:30:00+01:00    6.1
2016-10-30 03:30:00+01:00    6.1
2016-10-30 04:30:00+01:00    5.7
2016-10-30 05:30:00+01:00    5.2
2016-10-30 06:30:00+01:00    4.7
2016-10-30 07:30:00+01:00    4.1
2016-10-30 08:30:00+01:00    3.9
2016-10-30 09:30:00+01:00    3.5
Freq: H, dtype: float64

时期

period_range()函数返回一个PeriodIndex，不是DatetimeIndex。例如，现在创建一个PeriodIndex，内容为2016和2017年所有的季度。

quarters = pd.period_range('2016Q1', periods=8, freq='Q')
quarters

输出：

PeriodIndex(['2016Q1', '2016Q2', '2016Q3', '2016Q4', '2017Q1', '2017Q2',
             '2017Q3', '2017Q4'],
            dtype='period[Q-DEC]', freq='Q-DEC')

将一个数字N加到PeriodIndex上，会将时期移动N倍的PeriodIndex频率。

quarters + 3

输出：

PeriodIndex(['2016Q4', '2017Q1', '2017Q2', '2017Q3', '2017Q4', '2018Q1',
             '2018Q2', '2018Q3'],
            dtype='period[Q-DEC]', freq='Q-DEC')

asfreq()方法可以改变PeriodIndex的频率。所有的时期都会相应地延长或缩短。例如，将quarters季度时期转换为月度时期，即放大了时期。

quarters.asfreq(freq='M')

输出：

PeriodIndex(['2016-03', '2016-06', '2016-09', '2016-12', '2017-03', '2017-06',
             '2017-09', '2017-12'],
            dtype='period[M]', freq='M')

默认情况下，asfreq是在每个时期结束时缩放。可以设置为在每个时期开始时缩放，即设置how参数为start或S。

quarters.asfreq(freq='M', how='S')

输出：

PeriodIndex(['2016-01', '2016-04', '2016-07', '2016-10', '2017-01', '2017-04',
             '2017-07', '2017-10'],
            dtype='period[M]', freq='M')

还可以缩小时期。

quarters.asfreq('A')    # A表示频率为年

输出：

PeriodIndex(['2016', '2016', '2016', '2016', '2017', '2017', '2017', '2017'], dtype='period[A-DEC]', freq='A-DEC')

当然，可以根据PeriodIndex创建一个Series。

quartersua_revenue = pd.Series([300, 320, 290, 390, 320, 360, 310, 410], index=quarters)
quartersua_revenue

输出：

2016Q1    300
2016Q2    320
2016Q3    290
2016Q4    390
2017Q1    320
2017Q2    360
2017Q3    310
2017Q4    410
Freq: Q-DEC, dtype: int64

quartersua_revenue.plot(kind='line')
plt.show()

可以通过调用时间Series的to_timestamp方法将时期转换为时间戳。默认情况下，转换为每个时期的第一天，但可以通过设置how和freq两个参数，获得每个时期的最后一个小时。

last_hours = quartersua_revenue.to_timestamp(freq='H', how='E')
last_hours

输出：

2016-03-31 23:00:00    300
2016-06-30 23:00:00    320
2016-09-30 23:00:00    290
2016-12-31 23:00:00    390
2017-03-31 23:00:00    320
2017-06-30 23:00:00    360
2017-09-30 23:00:00    310
2017-12-31 23:00:00    410
Freq: Q-DEC, dtype: int64

现在想将时间戳转换为时期，可以通过调用to_period方法。

last_hours.to_period()

输出：

2016Q1    300
2016Q2    320
2016Q3    290
2016Q4    390
2017Q1    320
2017Q2    360
2017Q3    310
2017Q4    410
Freq: Q-DEC, dtype: int64

这里还有一个例子，就是获取由2016年每个月的最后一个工作日的上午九点组成的PeriodIndex。

months_2016 = pd.period_range('2016', periods=12, freq='M')
months_2016

输出：

PeriodIndex(['2016-01', '2016-02', '2016-03', '2016-04', '2016-05', '2016-06',
             '2016-07', '2016-08', '2016-09', '2016-10', '2016-11', '2016-12'],
            dtype='period[M]', freq='M')

one_day_after_last_days = months_2016.asfreq(freq='D', how='E')
one_day_after_last_days

输出：

PeriodIndex(['2016-01-31', '2016-02-29', '2016-03-31', '2016-04-30',
             '2016-05-31', '2016-06-30', '2016-07-31', '2016-08-31',
             '2016-09-30', '2016-10-31', '2016-11-30', '2016-12-31'],
            dtype='period[D]', freq='D')

one_day_after_last_days = one_day_after_last_days + 1
one_day_after_last_days

输出：

PeriodIndex(['2016-02-01', '2016-03-01', '2016-04-01', '2016-05-01',
             '2016-06-01', '2016-07-01', '2016-08-01', '2016-09-01',
             '2016-10-01', '2016-11-01', '2016-12-01', '2017-01-01'],
            dtype='period[D]', freq='D')

one_day_after_last_days.to_timestamp()

输出：

DatetimeIndex(['2016-02-01', '2016-03-01', '2016-04-01', '2016-05-01',
               '2016-06-01', '2016-07-01', '2016-08-01', '2016-09-01',
               '2016-10-01', '2016-11-01', '2016-12-01', '2017-01-01'],
              dtype='datetime64[ns]', freq='MS')

last_b_days = one_day_after_last_days.to_timestamp() - pd.tseries.offsets.BDay()
last_b_days

输出：

DatetimeIndex(['2016-01-29', '2016-02-29', '2016-03-31', '2016-04-29',
               '2016-05-31', '2016-06-30', '2016-07-29', '2016-08-31',
               '2016-09-30', '2016-10-31', '2016-11-30', '2016-12-30'],
              dtype='datetime64[ns]', freq='BM')

last_b_days.to_period('H') + 9

输出：

PeriodIndex(['2016-01-29 09:00', '2016-02-29 09:00', '2016-03-31 09:00',
             '2016-04-29 09:00', '2016-05-31 09:00', '2016-06-30 09:00',
             '2016-07-29 09:00', '2016-08-31 09:00', '2016-09-30 09:00',
             '2016-10-31 09:00', '2016-11-30 09:00', '2016-12-30 09:00'],
            dtype='period[H]', freq='H')

07-29’, ‘2016-08-31’,
‘2016-09-30’, ‘2016-10-31’, ‘2016-11-30’, ‘2016-12-30’],
dtype=‘datetime64[ns]’, freq=‘BM’)

last_b_days.to_period('H') + 9

输出：

PeriodIndex(['2016-01-29 09:00', '2016-02-29 09:00', '2016-03-31 09:00',
             '2016-04-29 09:00', '2016-05-31 09:00', '2016-06-30 09:00',
             '2016-07-29 09:00', '2016-08-31 09:00', '2016-09-30 09:00',
             '2016-10-31 09:00', '2016-11-30 09:00', '2016-12-30 09:00'],
            dtype='period[H]', freq='H')