pandas 处理日期数据列

经常会遇到数据里面有时间相关的列, 时间列对于特征的构建非常重要, 下面主要总结一下时间列数据的处理.

原始数据类型

如下所示的DataFrame

查看此列(Series.dtype)的取值类型和直接查看元素类型

print(user_data['评论时间'].dtype)
print(type(user_data['评论时间'][0]))

结果:

object
<class 'str'>

此列本质上是日期的字符串形式, 所以dtype是 object 单个元素类型是 str

pandas 本身提供了便捷的方法to_datetime 方法完成数据向datetime 类型的转换.

user_data['评论时间'] = pd.to_datetime(user_data['评论时间'])
print(user_data['评论时间'].dtype)
print(type(user_date['评论时间'][0]))

datetime64[ns]
<class 'pandas._libs.tslibs.timestamps.Timestamp'>

发现单个元素类型是 pandas._libs.tslibs.timestamps.Timestamp
看对于此类的描述

Help on class Timestamp in module pandas._libs.tslibs.timestamps:

class Timestamp(_Timestamp)
 |  Timestamp(ts_input=<object object at 0x7fdd9bd76810>, freq=None, tz=None, unit=None, year=None, month=None, day=None, hour=None, minute=None, second=None, microsecond=None, nanosecond=None, tzinfo=None)
 |  
 |  Pandas replacement for datetime.datetime
 |  

pandas 对于 datetime.datetime 的一种替换. datetime.datetime 是 python原生提供的日期类. 也就是说这样转换后, 就能够在pandas DataFrame 里面处理日期数据了.

比如获取评论时间在2018年1月7日到2018年1月20日之间的用户所有行为数据就可以向下面一样进行筛选.

user_data[(user_data['评论时间'] > pd.Timestamp('2018-01-07')) & (user_data['评论时间'] < pd.Timestamp('2018-01-20'))]