pandas日期最全处理

最新推荐文章于 2024-04-29 10:07:06 发布
最新推荐文章于 2024-04-29 10:07:06 发布
阅读量1.4k 收藏 8
点赞数 1
原文链接：https://www.jianshu.com/p/b91e3ae940ec
版权

前言
pandas有着强大的日期数据处理功能，本期我们来了解下pandas处理日期数据的一些基本功能，主要包括以下三个方面：

按日期筛选数据
按日期显示数据
按日期统计数据
运行环境为 windows系统，64位，python3.5。

1 读取并整理数据
首先引入pandas库
import pandas as pd
从csv文件中读取数据
df = pd.read_csv(‘date.csv’, header=None)
print(df.head(2))
0 1
0 2013-10-24 3
1 2013-10-25 4
整理数据
df.columns = [‘date’,‘number’]
df[‘date’] = pd.to_datetime(df[‘date’]) #将数据类型转换为日期类型
df = df.set_index(‘date’) # 将date设置为index
print(df.head(2))
print(df.tail(2))
print(df.shape)
number
date
2013-10-24 3
2013-10-25 4
number
date
2017-02-14 6
2017-02-22 6
(425, 1)
df的行数一共是425行。
查看Dataframe的数据类型

print(type(df))
print(df.index)
print(type(df.index))
<class ‘pandas.core.frame.DataFrame’>
DatetimeIndex([‘2013-10-24’, ‘2013-10-25’, ‘2013-10-29’, ‘2013-10-30’,
‘2013-11-04’, ‘2013-11-06’, ‘2013-11-08’, ‘2013-11-12’,
‘2013-11-14’, ‘2013-11-25’,
…
‘2017-01-03’, ‘2017-01-07’, ‘2017-01-14’, ‘2017-01-17’,
‘2017-01-23’, ‘2017-01-25’, ‘2017-01-26’, ‘2017-02-07’,
‘2017-02-14’, ‘2017-02-22’],
dtype=‘datetime64[ns]’, name=‘date’, length=425, freq=None)
<class ‘pandas.tseries.index.DatetimeIndex’>
构造Series类型数据

s = pd.Series(df[‘number’], index=df.index)
print(type(s))
s.head(2)
<class ‘pandas.core.series.Series’>

date
2013-10-24 3
2013-10-25 4
Name: number, dtype: int64
2 按日期筛选数据
按年度获取数据

print(’---------获取2013年的数据-----------’)
print(df[‘2013’].head(2)) # 获取2013年的数据
print(df[‘2013’].tail(2)) # 获取2013年的数据
---------获取2013年的数据-----------
number
date
2013-10-24 3
2013-10-25 4
number
date
2013-12-27 2
2013-12-30 2
获取2016至2017年的数据

print(’---------获取2016至2017年的数据-----------’)
print(df[‘2016’:‘2017’].head(2)) #获取2016至2017年的数据
print(df[‘2016’:‘2017’].tail(2)) #获取2016至2017年的数据
---------获取2016至2017年的数据-----------
number
date
2016-01-04 4
2016-01-07 6
number
date
2017-02-14 6
2017-02-22 6
获取某月的数据

print(’---------获取某月的数据-----------’)
print(df[‘2013-11’]) # 获取某月的数据
---------获取某月的数据-----------
number
date
2013-11-04 1
2013-11-06 3
2013-11-08 1
2013-11-12 5
2013-11-14 2
2013-11-25 1
2013-11-29 1
获取具体某天的数据

请注意dataframe类型的数据，获取具体某天的数据时，跟series是有些差异的，详细情况如下述代码所示：

按日期筛选数据

print(’---------获取具体某天的数据-----------’)

获取具体某天的数据

print(s[‘2013-11-06’])

获取具体某天的数据，用datafrme直接选取某天时会报错，而series的数据就没有问题

print(df[‘2013-11-06’])

#可以考虑用区间来获取某天的数据
print(df[‘2013-11-06’:‘2013-11-06’])
---------获取具体某天的数据-----------
3
number
date
2013-11-06 3
dataframe的truncate函数可以获取某个时期之前或之后的数据，或者某个时间区间的数据
但一般建议直接用切片（slice），这样更为直观，方便

dataframe的truncate函数可以获取某个时期之前或之后的数据，或者某个时间区间的数据

但一般建议直接用切片（slice），这样更为直观，方便

print(’---------获取某个时期之前或之后的数据-----------’)
print(’--------after------------’)
print(df.truncate(after = ‘2013-11’))
print(’--------before------------’)
print(df.truncate(before=‘2017-02’))
---------获取某个时期之前或之后的数据-----------
--------after------------
number
date
2013-10-24 3
2013-10-25 4
2013-10-29 2
2013-10-30 1
--------before------------
number
date
2017-02-07 8
2017-02-14 6
2017-02-22 6
3 按日期显示数据
3.1 to_period()方法
请注意df.index的数据类型是DatetimeIndex；
df_peirod的数据类型是PeriodIndex
按月显示，但不统计

df_period = df.to_period(‘M’) #按月显示，但不统计
print(type(df_period))

print(type(df_period.index))

请注意df.index的数据类型是DatetimeIndex；

df_peirod的数据类型是PeriodIndex

print(df_period.head())
<class ‘pandas.core.frame.DataFrame’>
<class ‘pandas.tseries.period.PeriodIndex’>
number
date
2013-10 3
2013-10 4
2013-10 2
2013-10 1
2013-11 1
按季度显示，但不统计

print(df.to_period(‘Q’).head()) #按季度显示，但不统计
number
date
2013Q4 3
2013Q4 4
2013Q4 2
2013Q4 1
2013Q4 1
按年度显示，但不统计

print(df.to_period(‘A’).head()) #按年度显示，但不统计
number
date
2013 3
2013 4
2013 2
2013 1
2013 1
3.2 asfreq()方法
按年度频率显示

df_period.index.asfreq(‘A’) # ‘A’默认是’A-DEC’,其他如’A-JAN’
PeriodIndex([‘2013’, ‘2013’, ‘2013’, ‘2013’, ‘2013’, ‘2013’, ‘2013’, ‘2013’,
‘2013’, ‘2013’,
…
‘2017’, ‘2017’, ‘2017’, ‘2017’, ‘2017’, ‘2017’, ‘2017’, ‘2017’,
‘2017’, ‘2017’],
dtype=‘period[A-DEC]’, name=‘date’, length=425, freq=‘A-DEC’)
df_period.index.asfreq(‘A-JAN’) # ‘A’默认是’A-DEC’,其他如’A-JAN’
PeriodIndex([‘2014’, ‘2014’, ‘2014’, ‘2014’, ‘2014’, ‘2014’, ‘2014’, ‘2014’,
‘2014’, ‘2014’,
…
‘2017’, ‘2017’, ‘2017’, ‘2017’, ‘2017’, ‘2017’, ‘2017’, ‘2018’,
‘2018’, ‘2018’],
dtype=‘period[A-JAN]’, name=‘date’, length=425, freq=‘A-JAN’)
按年度频率在不同情形下的显示，可参考下图所示：

按季度频率显示

df_period.index.asfreq(‘Q’) # ‘Q’默认是’Q-DEC’,其他如“Q-SEP”，“Q-FEB”
PeriodIndex([‘2013Q4’, ‘2013Q4’, ‘2013Q4’, ‘2013Q4’, ‘2013Q4’, ‘2013Q4’,
‘2013Q4’, ‘2013Q4’, ‘2013Q4’, ‘2013Q4’,
…
‘2017Q1’, ‘2017Q1’, ‘2017Q1’, ‘2017Q1’, ‘2017Q1’, ‘2017Q1’,
‘2017Q1’, ‘2017Q1’, ‘2017Q1’, ‘2017Q1’],
dtype=‘period[Q-DEC]’, name=‘date’, length=425, freq=‘Q-DEC’)
df_period.index.asfreq(‘Q-SEP’) # 可以显示不同的季度财年，“Q-SEP”，“Q-FEB”

df_period.index = df_period.index.asfreq(‘Q-DEC’) # 可以显示不同的季度财年，“Q-SEP”，“Q-FEB”

print(df_period.head())

PeriodIndex([‘2014Q1’, ‘2014Q1’, ‘2014Q1’, ‘2014Q1’, ‘2014Q1’, ‘2014Q1’,
‘2014Q1’, ‘2014Q1’, ‘2014Q1’, ‘2014Q1’,
…
‘2017Q2’, ‘2017Q2’, ‘2017Q2’, ‘2017Q2’, ‘2017Q2’, ‘2017Q2’,
‘2017Q2’, ‘2017Q2’, ‘2017Q2’, ‘2017Q2’],
dtype=‘period[Q-SEP]’, name=‘date’, length=425, freq=‘Q-SEP’)
按季度频率在不同情形下的显示，可参考下图所示：

按月度频率显示

df_period.index.asfreq(‘M’) # 按月份显示
PeriodIndex([‘2013-10’, ‘2013-10’, ‘2013-10’, ‘2013-10’, ‘2013-11’, ‘2013-11’,
‘2013-11’, ‘2013-11’, ‘2013-11’, ‘2013-11’,
…
‘2017-01’, ‘2017-01’, ‘2017-01’, ‘2017-01’, ‘2017-01’, ‘2017-01’,
‘2017-01’, ‘2017-02’, ‘2017-02’, ‘2017-02’],
dtype=‘period[M]’, name=‘date’, length=425, freq=‘M’)
按工作日显示

method 1
df_period.index.asfreq(‘B’, how=‘start’) # 按工作日期显示
PeriodIndex([‘2013-10-01’, ‘2013-10-01’, ‘2013-10-01’, ‘2013-10-01’,
‘2013-11-01’, ‘2013-11-01’, ‘2013-11-01’, ‘2013-11-01’,
‘2013-11-01’, ‘2013-11-01’,
…
‘2017-01-02’, ‘2017-01-02’, ‘2017-01-02’, ‘2017-01-02’,
‘2017-01-02’, ‘2017-01-02’, ‘2017-01-02’, ‘2017-02-01’,
‘2017-02-01’, ‘2017-02-01’],
dtype=‘period[B]’, name=‘date’, length=425, freq=‘B’)
method 2
df_period.index.asfreq(‘B’, how=‘end’) # 按工作日期显示
PeriodIndex([‘2013-10-31’, ‘2013-10-31’, ‘2013-10-31’, ‘2013-10-31’,
‘2013-11-29’, ‘2013-11-29’, ‘2013-11-29’, ‘2013-11-29’,
‘2013-11-29’, ‘2013-11-29’,
…
‘2017-01-31’, ‘2017-01-31’, ‘2017-01-31’, ‘2017-01-31’,
‘2017-01-31’, ‘2017-01-31’, ‘2017-01-31’, ‘2017-02-28’,
‘2017-02-28’, ‘2017-02-28’],
dtype=‘period[B]’, name=‘date’, length=425, freq=‘B’)
4 按日期统计数据
4.1按日期统计数据
按周统计数据

print(df.resample(‘w’).sum().head())

“w”，week

        number

date
2013-10-27 7.0
2013-11-03 3.0
2013-11-10 5.0
2013-11-17 7.0
2013-11-24 NaN
按月统计数据

print(df.resample(‘M’).sum().head())

"MS"是每个月第一天为开始日期, "M"是每个月最后一天

        number

date
2013-10-31 10
2013-11-30 14
2013-12-31 27
2014-01-31 16
2014-02-28 4
按季度统计数据

print(df.resample(‘Q’).sum().head())

"QS"是每个季度第一天为开始日期, "Q"是每个季度最后一天

        number

date
2013-12-31 51
2014-03-31 73
2014-06-30 96
2014-09-30 136
2014-12-31 148
按年统计数据

print(df.resample(‘AS’).sum())

"AS"是每年第一天为开始日期, "A是每年最后一天

        number

date
2013-01-01 51
2014-01-01 453
2015-01-01 743
2016-01-01 1552
2017-01-01 92
关于日期的类型，按参考下图所示来选择合适的分期频率：

4.2 按日期统计后，按年或季度或月份显示
按年统计并显示

print(df.resample(‘AS’).sum().to_period(‘A’))

按年统计并显示

  number

date
2013 51
2014 453
2015 743
2016 1552
2017 92
按季度统计并显示

print(df.resample(‘Q’).sum().to_period(‘Q’).head())

按季度统计并显示

    number

date
2013Q4 51
2014Q1 73
2014Q2 96
2014Q3 136
2014Q4 148
按月度统计并显示

print(df.resample(‘M’).sum().to_period(‘M’).head())

按月度统计并显示

     number

date
2013-10 10
2013-11 14
2013-12 27
2014-01 16
2014-02 4

作者：leenard
链接：https://www.jianshu.com/p/b91e3ae940ec
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

xixihahalsy
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
将日数据转为周数据：to_period, resample
weixin_43561766的博客
01-28 4338
to_period 第一步：数据 a = pd.date_range('8/5/2021',periods=12,freq='D') b = ['业务线'+str(i) for i in range(1,3)] b = np.array([random.choice(b) for i in range(len(a))]) c = np.random.randint(1, 3, size=len(a)) df = pd.DataFrame({'时间':a,'分类':b,'值':c}) df 第二步
chatgpt赋能python：Python获取昨天的日期time
findyi123的博客
06-27 359
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
Pandas 日期数据处理
philosophy
06-04 1万+
日常工作中，日期格式有多种表达形式，比如年份开头或是月份开头2022/6/4、6/4/2022等，通过pandas的日期数据处理，可以将不同的日期格式进行统一，并进行过滤分类分析等操作，方便我们后续工作使用。
暑期实践第二十六天 2022-7-29
m0_63619203的博客
07-29 146
resample方法主要应用于时间序列的频率转换和重采样，它可以从日期中获取年、月、日，星期或季节等，结合数据计算函数就可以实现按年、月、日、星期或季度等不同时期来统计数据。注意按日期统计数据的过程中，可能会出现提示类型不正确的错误信息，上述错误是由于resample函数要求索引必须为日期型引起的。DaraFrame对象中的to_period()方法可以将时间戳转换为时期，从而实现按时期显示数据，前提是日期必须设置为索引。axis行列索引，0为行索引，1为列索引，默认0。按时期统计并显示数据。...
【Python之Pandas】时间段按天数进行分割
最新发布
qq_31180631的博客
04-29 208
【代码】【Python之Pandas】时间段按天数进行分割。
Pandas的时间与日期（日期转换，创建日期等）
weixin_64338372的博客
04-11 3867
注意：频率字符串“C”用于指示使用CustomBusinessDay DateOffset，请务必注意，由于CustomBusinessDay是参数化类型，因此CustomBusinessDay的实例可能不同，并且无法从“C”频率字符串中检测到。在前面的例子中，我们DatetimeIndex通过将 诸如“M”，“W”和“BM”的频率字符串传递给freq关键字来创建各种频率的对象。要转换Series类似日期的对象或类似列表的对象，例如字符串，纪元或混合，您可以使用该to_datetime函数。
python pandas 时间日期的处理实现
09-18
主要介绍了python pandas 时间日期的处理实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python中pandas处理日期时间
06-26
适用于学习python中pandas处理日期时间
pandas 对日期类型数据的处理方法详解
09-18
主要介绍了pandas 对日期类型数据的处理方法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
pandas 快速处理 date_time 日期格式方法
09-19
今天小编就为大家分享一篇pandas 快速处理 date_time 日期格式方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pandas 常用的日期时间处理方法
summerriver1的博客
07-10 673
pandas 常用的日期时间处理方法
pandas 对日期类型数据的处理
王敏的专栏
05-21 3201
pandas 的日期/时间类型有如下几种： Concept Scalar Class Array Class pandas Data Type Primary Creation Method Date times Timestamp DatetimeIndex datetime64[ns] or datetime64[ns, tz] to_datetime or date_...
Pandas日期处理
weixin_46599926的博客
01-09 2834
做数据处理的时候有时候需要对日期进行处理或计算 下面给出几种常见的日期处理和运算 日期数据类型转换 有时候我们拿到的日期是Object类型，这时我们需要先把日期数据转换成时间类型 df2['Date'] = pd.to_datetime(df2['DATE']) df2.Date.dtypes 提取日期中的信息（输出为int类型） # 提取日期中的年/月/日/小时/分钟 df2['year'] = pd.to_datetime(df2['comment_Date']).dt.year df2['ye
pandas 日期比较大小_数据分析（6）-Pandas日期数据处理
weixin_39837352的博客
12-19 532
Pandas 有着强大的日期数据处理功能，主要包括以下三个方面：按日期筛选数据、按日期显示数据、按日期统计数据1、读取数据import pandas as pddf = pd.read_csv('date.csv', header=None)print(df.head(2))>>>输出结果：0 10 2013-10-24 31 2013-10-25 42、整理数据df.colum...
使用Pandas的resample函数处理时间序列数据的技巧
deephub
11-07 2万+
时间序列数据在数据科学项目中很常见。 通常，可能会对将时序数据重新采样到要分析数据的频率或从数据中汲取更多见解的频率感兴趣。 在本文中，我们将介绍一些使用Pandas resample（）函数对时间序列数据进行重采样的示例。 我们将介绍以下常见问题，并应帮助您开始使用时序数据操作。 下采样并执行聚合 使用自定义基数进行下采样 上采样和填充值 一个实际的例子 向下采样和执行聚合 下采样是将一个时间序列数据集重新采样到一个更大的时间框架。例如，从几分钟到几小时，从几天到几年。结果的行数将减少，并且可以使用.
用pandas.to_datetime进行日期解析
博饼的专栏
07-31 974
import pandas as pd df=pd.pd.read_csv（） df['Date'] = pd.to_datetime(df['Date'], format='%d/%m/%y')
pandas小记：pandas时间序列分析和处理Timeseries
热门推荐
皮皮blog
08-15 10万+
http://blog.csdn.net/pipisorry/article/details/52209377pandas 最基本的时间序列类型就是以时间戳（TimeStamp）为 index 元素的 Series 类型。其它时间序列处理相关的包[P4J 0.6: Periodic light curve analysis tools based on Information Theory][p4
Pandas日期数据处理：如何按日期筛选、显示及统计数据
123
09-25 1万+
  前言 pandas有着强大的日期数据处理功能，本期我们来了解下pandas处理日期数据的一些基本功能，主要包括以下三个方面： 按日期筛选数据 按日期显示数据 按日期统计数据 运行环境为 windows系统，64位，python3.5。 1 读取并整理数据 首先引入pandas库 import pandas as pd 从csv文件中读取数据 df = pd.read...
pandas to_period("M")
武西亮的博客
04-01 6951
df['date2'] = df['服务截止日期'].dt.to_period("M")
pandas 日期处理
09-10
对于使用Python进行日期处理，pandas库是非常常用的工具。使用pandas，你可以轻松地操作、处理和分析日期数据。 首先，确保你已经安装了pandas库。如果没有安装，可以通过运行以下命令来安装它： ``` pip install pandas ``` 一旦安装完成，你可以通过导入pandas来开始使用它： ```python import pandas as pd ``` 下面是一些常见的日期处理操作示例： 1. 将字符串转换为日期格式： ```python date_string = '2022-01-01' date = pd.to_datetime(date_string) ``` 2. 创建一个日期范围： ```python date_range = pd.date_range(start='2022-01-01', end='2022-01-31', freq='D') ``` 3. 提取日期的年、月、日等信息： ```python date = pd.to_datetime('2022-01-01') year = date.year month = date.month day = date.day ``` 4. 计算日期之间的差距： ```python date1 = pd.to_datetime('2022-01-01') date2 = pd.to_datetime('2022-01-31') diff = date2 - date1 ``` 5. 将日期作为索引进行数据框过滤和切片： ```python df = pd.DataFrame({'date': pd.date_range(start='2022-01-01', end='2022-01-31'), 'value': range(31)}) df.set_index('date', inplace=True) filtered_df = df['2022-01-10':'2022-01-20'] ``` 这只是pandas提供的一些基本日期处理操作示例，还有更多功能可以探索。你可以通过查阅pandas官方文档来了解更多关于日期处理的详细信息：https://pandas.pydata.org/docs/user_guide/timeseries.html

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值