Numpy&pandas（六）--datetime

最新推荐文章于 2024-04-27 10:22:07 发布
最新推荐文章于 2024-04-27 10:22:07 发布
阅读量560 收藏 5
点赞数 2
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42007339/article/details/104510840
版权 
import pandas as pd
import numpy as np

时间日期

  • 时间戳 tiimestamp：固定的时刻 -> pd.Timestamp
  • 固定时期 period：比如 2016年3月份，再如2015年销售额 -> pd.Period
  • 时间间隔 interval：由起始时间和结束时间来表示，固定时期是时间间隔的一个特殊

时间日期在 Pandas 里的作用

  • 分析金融数据，如股票交易数据
  • 分析服务器日志

Python datetime

python 标准库里提供了时间日期的处理。这个是时间日期的基础。

from datetime import datetime
from datetime import timedelta
now = datetime.now()
#输出当前年月日时分秒，还有秒的下一个计量单位

now.year, now.month, now.day
#输出当前年月日

时间差

date1 = datetime(2016, 3, 20)
date2 = datetime(2016, 3, 16)
delta = date1 - date2
#输出timedelta是4，默认为day

delta.days
#输出4

delta.total_seconds()
#转换成秒

date2 + delta
#输出一个datetime2016 3 20 0 0

date2 + timedelta(4.5)
#输出一个datetime2016 3 20 12 0

字符串和 datetime 转换

关于 datetime 格式定义，可以参阅 python 官方文档

date = datetime(2016, 3, 20, 8, 30)
str(date)
#变成字符串'2016-03-20 08:30:00'

date.strftime('%Y-%m-%d %H:%M:%S')
#可以自定义格式'2016-03-20 08:30:00'

datetime.strptime('2016-03-20 09:30', '%Y-%m-%d %H:%M')
#字符串转换为时间类型

Pandas 里的时间序列

Pandas 里使用 Timestamp 来表达时间

dates = [datetime(2016, 3, 1), datetime(2016, 3, 2), datetime(2016, 3, 3), datetime(2016, 3, 4)]
s = pd.Series(np.random.randn(4), index=dates)
type(s.index)
#输出pandas.tseries.index.DatetimeIndex

type(s.index[0])
#输出的是timestamp

日期范围

生成日期范围

pd.date_range('20160320', '20160331')
#生成DatetimeIndex(['2016-03-20', '2016-03-21', '2016-03-22', '2016-03-23',
#               '2016-03-24', '2016-03-25', '2016-03-26', '2016-03-27',
#              '2016-03-28', '2016-03-29', '2016-03-30', '2016-03-31'],
#             dtype='datetime64[ns]', freq='D')
#freq = D表示天，可以自己改动

pd.date_range(start='20160320', periods=10)
#和上面差不多，但是数量为十天

## 规则化时间戳
pd.date_range(start='2016-03-20 16:23:32', periods=10, normalize=True)

时间频率

## 星期
pd.date_range(start='20160320', periods=10, freq='W')

# 月
pd.date_range(start='20160320', periods=10, freq='M')

## 每个月最后一个工作日组成的索引
pd.date_range(start='20160320', periods=10, freq='BM')

# 小时
pd.date_range(start='20160320', periods=10, freq='4H')

时期及算术运算

pd.Period 表示时期，比如几日，月或几个月等。比如用来统计每个月的销售额，就可以用时期作为单位。

p1 = pd.Period(2010)
p2 = p1 + 2
#输出2012年


p2 - p1
#输出2L

p1 = pd.Period(2016, freq='M')
#输出2016-01

p1 + 3
#输出Period('2016-04', 'M')

时期序列

pd.period_range(start='2016-01', periods=12, freq='M')
'''输出结果为
    PeriodIndex(['2016-01', '2016-02', '2016-03', '2016-04', '2016-05', '2016-06',
             '2016-07', '2016-08', '2016-09', '2016-10', '2016-11', '2016-12'],
            dtype='int64', freq='M')
'''

pd.period_range(start='2016-01', end='2016-10', freq='M')
#输出1~10月

# 直接用字符串，输出季度
index = pd.PeriodIndex(['2016Q1', '2016Q2', '2016Q3'], freq='Q-DEC')

时期的频率转换

asfreq

  • A-DEC: 以 12 月份作为结束的年时期
  • A-NOV: 以 11 月份作为结束的年时期
  • Q-DEC: 以 12 月份作为结束的季度时期

p = pd.Period('2016', freq='A-DEC')
#输出以12月为一年结束的时间，2016

p.asfreq('M', how='start')
#重新取freq，变成月份

p.asfreq('M', how='end')
#同上输出为12月

p = pd.Period('2016-04', freq='M')
#时间序列

p.asfreq('A-DEC')
#变换为年，以十二月为结束，所以是2016

# 以年为周期，以一年中的 3 月份作为年的结束（财年）输出为2017年
p.asfreq('A-MAR')

 

 

季度时间频率

Pandas 支持 12 种季度型频率，从 Q-JAN 到 Q-DEC

p = pd.Period('2016Q4', 'Q-JAN')
#2016年一月份为第四季度

# 以 1 月份结束的财年中，2016Q4 的时期是指 2015-11-1 到 2016-1-31
p.asfreq('D', how='start'), p.asfreq('D', how='end')

# 获取该季度倒数第二个工作日下午4点的时间戳
p4pm = (p.asfreq('B', how='end') - 1).asfreq('T', 'start') + 16 * 60

# 转换为 timestamp
p4pm.to_timestamp()
#Timestamp('2016-01-28 16:00:00')

Timestamp 和 Period 相互转换

ts = pd.Series(np.random.randn(5), index = pd.date_range('2016-01-01', periods=5, freq='M'))
ts.to_period()
#由timestamp转换成period

ts = pd.Series(np.random.randn(5), index = pd.date_range('2016-12-29', periods=5, freq='D'))
pts = ts.to_period(freq='M')
#由天转换成月

pts.groupby(level=0).sum()

# 转换为时间戳时，细部时间会丢失
pts.to_timestamp(how='end')

重采样

  • 高频率 -> 低频率 -> 降采样：5 分钟股票交易数据转换为日交易数据
  • 低频率 -> 高频率 -> 升采样
  • 其他重采样：每周三 (W-WED) 转换为每周五 (W-FRI)
ts = pd.Series(np.random.randint(0, 50, 60), index=pd.date_range('2016-04-25 09:30', periods=60, freq='T'))

# 0-4 分钟为第一组，显示的是从9：30开始
ts.resample('5min', how='sum')

# 0-4 分钟为第一组，显示的是从9：35开始
ts.resample('5min', how='sum', label='right')

OHLC 重采样

金融数据专用：Open/High/Low/Close

ts.resample('5min', how='ohlc')
#五分钟为间隔重采样，有ohlc四列

### 通过 groupby 重采样
ts = pd.Series(np.random.randint(0, 50, 100), index=pd.date_range('2016-03-01', periods=100, freq='D'))

ts.groupby(lambda x: x.month).sum()
#以月份为单位求总和

ts.groupby(ts.index.to_period('M')).sum()
#也是以月份为单位求和

升采样和插值

# 以周为单位，每周五采样
df = pd.DataFrame(np.random.randint(1, 50, 2), index=pd.date_range('2016-04-22', periods=2, freq='W-FRI'))

df.resample('D')
#输出22-29所有天数

df.resample('D', fill_method='ffill', limit=3)
#向前填充，限制三个

# 以周为单位，每周一采样
df.resample('W-MON', fill_method='ffill')

时期重采样

df = pd.DataFrame(np.random.randint(2, 30, (24, 4)), 
                  index=pd.period_range('2015-01', '2016-12', freq='M'),
                  columns=list('ABCD'))
adf = df.resample('A-DEC', how='mean')
#以十二月为一年的结尾，取每年的平均值

df.resample('A-MAY', how='mean')
#以五月份为一年的结尾，去每年的平均值

# 升采样
adf.resample('Q-DEC')
#以十二月为季度的结尾，升采样过后行数会变多，会出现很多空值

adf.resample('Q-DEC', fill_method='ffill')
#和上一个一样，空值变成了向前填充

性能

n = 1000000
ts = pd.Series(np.random.randn(n), 
               index=pd.date_range('2000-01-01', periods=n, freq='10ms'))
len(ts)
%timeit ts.resample('10min', how='ohlc')
#测试性能 10 loops, best of 3: 21.9 ms per loop

ts.resample('D', how='ohlc')
#以天为单位重采样

从文件中读取日期序列

df = pd.read_csv('data/002001.csv', index_col='Date')
df.index
#发现index并不是时间日期类型

df = pd.read_csv('data/002001.csv', index_col='Date', parse_dates=True)
df.index
#转换成时间日期类型

wdf = df['Adj Close'].resample('W-FRI', how='ohlc')
#以每周五为单位重采样，ohlc


wdf['Volume'] = df['Volume'].resample('W-FRI', how='sum')
#以每周五为单位，取总和

自定义时间日期解析函数

def date_parser(s):
    s = '2016/' + s
    d = datetime.strptime(s, '%Y/%m/%d')
    return d

df = pd.read_csv('data/custom_date.csv', parse_dates=True, index_col='Date', date_parser=date_parser)
#指定函数

df.index
#确定index是时间日期类型

 

加油学python
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
利用Pandas和Numpy按时间戳将数据以Groupby方式分组
太玄经的博客
07-16 1万+
       首先说一下需求，我需要将数据以分钟为单位进行分组，然后每一分钟内的数据作为一行输出，因为不同时间的数据量不一样，所以所有数据按照最长的那组数据为准，不足的数据以各自的最后一个数据进行补足。        之后要介绍一下我的数据源，之前没用的数据列已经去除，我只留下要用到的数据data列和时间戳time列，时间戳是以秒计的，可以看到一共是407454行。 da...
python numpy库是第三方库吗_Python：Numpy库基础分析——详解datetime类型的处理
weixin_39669638的博客
11-23 92
Python：Numpy库基础分析——详解datetime类型的处理关于时间的处理，Python中自带的处理时间的模块就有time 、datetime、calendar，另外还有扩展的第三方库，如dateutil等等。通过这些途径可以随心所欲地用Python去处理时间。当我们用NumPy库做数据分析时，如何转换时间呢？在NumPy 1.7版本开始，它的核心数组（ndarray）对象支持dateti...
Python Numpy库datetime类型的处理详解
09-19
主要介绍了Python Numpy库datetime类型的处理详解，Python中自带的处理时间的模块就有time 、datetime、calendar，另外还有扩展的第三方库，如dateutil等等。。当我们用NumPy库做数据分析时，如何转换时间呢？需要的朋友可以参考下
【NumPy】深入解析numpy中的datetime_data方法
最新发布
2402_83361138的博客
04-27 980
尽管 NumPy 本身不提供专门的日期时间处理方法，但其 datetime64 类型为时间序列数据的处理奠定了基础。通过与 Pandas 等库的结合使用，可以更加高效地处理复杂的日期时间数据。希望本文能够帮助您更好地理解 NumPy 在日期时间数据处理方面的作用。请注意，这篇文章是一个示例性的草稿，实际撰写时可能需要根据 NumPy 的最新版本和功能进行调整。此外，为了达到2500字的要求，你可能需要在每个部分中添加更多的细节和示例。
numpy.datetime64()日期函数
热门推荐
错位的梦寐的博客
11-21 1万+
Basic Datetimes 创建数据时间的最基本的方法是使用ISO 8601日期或日期时间格式的字符串。内部存储单元是从字符串的形式自动选择的，可以是date unit或time unit。 日期单位是年（‘Y’），月（‘M’），星期（‘W’）和日（‘D’），而时间单位是小时），秒（‘s’），毫秒（‘ms’）和一些附加的基于秒前缀的单位。 简单的ISO日期： >>> np.d...
Python NumPy datetime64
Say_hi_Bury的博客
10-24 912
需要注意的是，`datetime64` 类型是固定精度的，它的精度由时间单位决定，如年、月、日、时、分、秒等。在使用时需要根据具体的需求选择合适的时间单位和精度。在量化投资中，`datetime64` 类型通常用于表示时间序列数据，如股票价格的时间戳、交易记录的时间等。它可以方便地进行时间计算、筛选和比较操作。`datetime64` 是 NumPy 库中的数据类型，用于表示日期和时间。它可以存储年、月、日、时、分、秒等精确到纳秒级别的时间信息。
Numpy&pandas（六）–datetime
12-22
import numpy as np 时间日期 时间戳 tiimestamp：固定的时刻 -> pd.Timestamp 固定时期 period：比如 2016年3月份，再如2015年销售额 -> pd.Period 时间间隔 interval：由起始时间和结束时间来表示，固定时期是...
利用numpy和pandas处理csv文件中的时间方法
12-25
环境：numpy,pandas,python3 在机器学习和深度学习的过程中，对于处理预测，回归问题，有时候变量是时间，需要进行合适的转换处理后才能进行学习分析，关于时间的变量如下所示，利用pandas和numpy对csv文件中时间...
Customer-Segmentation-using-python:使用numpy，pandas，matplotlib，datetime模块以python设计，k表示用于对零售商店或购物中心的客户进行分类的聚类
04-13
使用Python进行客户细分 使用numpy，pandas，matplotlib，datetime模块在python中进行了设计，而k表示用于对零售商店或购物中心的客户进行分类的聚类。
Python_Matplotlib_Numpypandas_ML:用Python完成的程序，实现Matplotlib，numpy，pandas，datetime，parquet，json，read_csv，openpyxl，机器学习概念和更多程序
04-23
Python_Matplotlib_Numpypandas_ML
气候分析：在Jupyter笔记本中使用SQLite，SQLAlchemy，NumPy，Pandas和Matplotlib分析夏威夷的气候数据
02-16
数据集 使用的工具PyCharm-Python IDE Jupyter笔记本Python-熊猫，NumPy，Matplotlib，SQLAlchemy，Datetime，Flask，Scipy任务将sqlite表反映到SQLAlchemy中使用SQLAlchemy create_engine连接到sqlite数据库。...
social-predictability
03-31
依赖项： pandas ， numpy ， npmath ， collections ， seaborn ， matplotlib ， random 。用法在开始时将meetup_strategy导入到您的工作代码中。 import meetup_strategy as mp 您应该知道原始数据集的路径，并...
Python pandas常用函数详解
12-25
import numpy as np import matplotlib.pyplot as plt import datetime import re 2 文件读取 df = pd.read_csv(path=’file.csv’) 参数：header=None 用默认列名，0，1，2，3… names=[‘A’, ‘B’, ‘C’…] ...
python-snippets
03-20
ipdb.set_trace() # noqa ifname - > if __name__ == "__main__":进口货imr > import re imnp > import numpy as np impd > import pandas as pd imbs - > from bs4 import BeautifulSoup immpl > from matplotlib ...
python时间数据合并_python – 使用numpy / pandas按时间戳合并时间序列数据
weixin_39595537的博客
12-14 2359
我想你可以简单>将时间戳定义为每个DataFrame的索引(使用set_index)>使用连接将它们与“外部”方法合并> Optionnaly将时间戳转换为日期时间这是它的样子.# generating some test datatimestamp = [1440540000, 1450540000]df1 = pd.DataFrame({'timestamp': timest...
利用numpy和pandas处理csv文件中的时间
szj_huhu的博客
07-27 9630
环境：numpy,pandas,python3在机器学习和深度学习的过程中，对于处理预测，回归问题，有时候变量是时间，需要进行合适的转换处理后才能进行学习分析，关于时间的变量如下所示，利用pandas和numpy对csv文件中时间进行处理。 date (UTC) Price 01/01/2015 0:00 48.1 01/01/2015 1
panda的DatetimeIndex与IntervalIndex
trayvontang的博客
12-31 338
时间索引 import pandas as pd PERIODS = 3 # 年 '2020-12-31', '2021-12-31', '2022-12-31' print(pd.date_range('1/1/2020', periods=PERIODS, freq='Y')) # 同上 print(pd.date_range('20200101', periods=PERIODS, fr...
用jupter爬取朋友圈的信息，并用numpy和pandas进行基本的数据分析
06-12
好的，这是一个比较复杂的问题，我会尽可能详细地回答。首先，需要明确一点的是，这个问题涉及到的技术领域比较广泛，包括爬虫、数据分析、numpy和pandas等知识，因此需要有一定的基础才能进行操作。下面我将分步骤讲解具体实现方法： 1. 爬取朋友圈信息 首先需要登录微信，并且安装itchat这个库。itchat是一个基于微信协议的Python库，可以实现登录微信、发送消息、接收消息等功能。在安装完成itchat之后，可以使用以下代码登录微信： ``` import itchat itchat.auto_login(hotReload=True) ``` 登录成功之后，可以使用以下代码获取朋友圈信息： ``` friends = itchat.get_friends(update=True) for friend in friends: print(friend['NickName']) for m in itchat.get_moments(): print(m['Text']) ``` 2. 数据分析 获取到朋友圈信息之后，需要进行基本的数据分析。这里涉及到numpy和pandas两个库。numpy是Python中非常重要的一个科学计算库，它提供了高性能的多维数组对象，并且可以进行广播、数学运算、逻辑运算等操作。pandas则是建立在numpy之上的一个数据处理库，可以方便地进行数据清洗、分组、聚合等操作。下面是一些常用的numpy和pandas操作： ``` import numpy as np import pandas as pd # 创建一个numpy数组 a = np.array([1, 2, 3, 4, 5]) # 对numpy数组进行基本的数学运算 b = np.sin(a) # 创建一个pandas DataFrame df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Emily'], 'Age': [25, 30, 35, 40, 45], 'Gender': ['Female', 'Male', 'Male', 'Male', 'Female']}) # 对pandas DataFrame进行基本的数据清洗和分析 df.dropna() # 删除缺失值 df.groupby('Gender').mean() # 按照性别分组计算平均年龄 ``` 以上是一些numpy和pandas的基本操作，可以根据实际需要进行调整。 3. 完整代码 下面是一个完整的代码示例，包括登录微信、获取朋友圈信息、数据分析等操作： ``` import itchat import pandas as pd # 登录微信 itchat.auto_login(hotReload=True) # 获取朋友列表 friends = itchat.get_friends(update=True) # 获取朋友圈信息 moments = [] for m in itchat.get_moments(): moment = {} moment['UserName'] = m['UserName'] moment['NickName'] = m['User']['NickName'] moment['Content'] = m['Content'] moment['CreateTime'] = m['CreateTime'] moments.append(moment) # 将朋友圈信息转化为pandas DataFrame df = pd.DataFrame(moments) # 对DataFrame进行基本的数据分析 df['CreateTime'] = pd.to_datetime(df['CreateTime'], unit='s') df['Year'] = df['CreateTime'].dt.year df['Month'] = df['CreateTime'].dt.month df['Day'] = df['CreateTime'].dt.day df.groupby(['Year', 'Month'])['Content'].count() # 退出微信登录 itchat.logout() ``` 以上代码可以实现登录微信、获取朋友圈信息、将信息转化为DataFrame、进行基本的数据分析等操作。需要注意的是，由于微信的反爬虫机制比较严格，因此在实际操作中需要注意不要频繁地爬取数据，以免被微信封禁账号。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值