pandas 快速处理 date_time 日期格式

最新推荐文章于 2024-08-13 11:20:27 发布

HenryMa_

最新推荐文章于 2024-08-13 11:20:27 发布

阅读量3.3w

点赞数 13

分类专栏：大数据文章标签： pandas python 数据处理

本文链接：https://blog.csdn.net/mhywoniu/article/details/78513935

版权

大数据专栏收录该内容

2 篇文章 2 订阅

订阅专栏

当数据很多，且日期格式不标准时的时候，如果`pandas.to_datetime` 函数使用不当，会使得处理时间变得很长，提升速度的关键在于format的使用。下面举例进行说明：

示例数据：

date 格式：02.01.2013 即日.月.年
数据量：3000000

transcation.head()
---------------------------------------------
          date  date_block_num  shop_id  item_id  item_price  item_cnt_day
0  02.01.2013               0       59    22154      999.00           1.0
1  03.01.2013               0       25     2552      899.00           1.0
2  05.01.2013               0       25     2552      899.00          -1.0
3  06.01.2013               0       25     2554     1709.05           1.0
4  15.01.2013               0       25     2555     1099.00           1.0

处理方式一：

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间： 10min

处理方式二：

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间：10s

附录：format相关

代码	说明
%Y	4位数的年
%y	2位数的年
%m	2位数的月[01,12]
%d	2位数的日[01，31]
%H	时（24小时制）[00,23]
%l	时（12小时制）[01,12]
%M	2位数的分[00,59]
%S	秒[00,61]有闰秒的存在
%w	用整数表示的星期几[0（星期天），6]
%F	%Y-%m-%d简写形式例如，2017-06-27
%D	%m/%d/%y简写形式