机器学习——科学数据包（五）时间日期

最新推荐文章于 2022-12-25 21:02:05 发布
最新推荐文章于 2022-12-25 21:02:05 发布
阅读量641 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dandandandanta/article/details/104377010
版权

机器学习——科学数据包（五）时间日期

时间日期

  • 时间戳 timestamp：固定的时刻 pd.Timestamp
  • 固定时期 period：比如2016年3月份 pd.Period
  • 时间间隔 interval ： 由起始时间和结束时间来表示

时间日期在Pandas里的作用

  • 分析经融数据，如股票交易数据
  • 分析服务器日志

datetime

from datetime import datetime
from datetime import timedelta

当前时间 ： datetime.now()
时间差 ： ①差多少天 delta.days ②差多少秒 delta.total_seconds
将时间转化为指定格式 ： .strftime()


date=datetime.datetime(2020, 2, 18, 16, 25)
In [6]:
str(date)
Out[6]:
'2020-02-18 16:25:00'
In [9]:
date.strftime('%y/%m/%d %H:%M:%S')
Out[9]:
'20/02/18 16:25:00'

将时间转化为字符串 ： .strptime()

datetime.strptime('2020-1-23 06:55','%Y-%m-%d %H:%M')
Out[10]:
datetime.datetime(2020, 1, 23, 6, 55)

pandas 时间序列

生成series时间序列

dates=[datetime(2016,3,1),datetime(2016,3,2),datetime(2016,3,3),datetime(2016,5,4)]
In [12]:
s=pd.Series(np.random.randn(4),index=dates)
In [13]:
s
Out[13]:
2016-03-01    1.061437
2016-03-02   -0.277053
2016-03-03   -1.983187
2016-05-04    0.280733
dtype: float64

生成日期范围 ：起始日期+截止日期

pd.date_range('20200321','20200403')
Out[14]:
DatetimeIndex(['2020-03-21', '2020-03-22', '2020-03-23', '2020-03-24',
               '2020-03-25', '2020-03-26', '2020-03-27', '2020-03-28',
               '2020-03-29', '2020-03-30', '2020-03-31', '2020-04-01',
               '2020-04-02', '2020-04-03'],
              dtype='datetime64[ns]', freq='D')

生成日期 ：起始日期+个数 (将小时、秒数正则化)

pd.date_range('20200321  16:22',periods=6,normalize=True)
DatetimeIndex(['2020-03-21', '2020-03-22', '2020-03-23', '2020-03-24',
               '2020-03-25', '2020-03-26'],
              dtype='datetime64[ns]', freq='D')

生成不同频率 ：修改 freq=

pd.date_range('20200321',periods=6,freq='4H')
Out[16]:
DatetimeIndex(['2020-03-21 00:00:00', '2020-03-21 04:00:00',
               '2020-03-21 08:00:00', '2020-03-21 12:00:00',
               '2020-03-21 16:00:00', '2020-03-21 20:00:00'],
              dtype='datetime64[ns]', freq='4H')

时期序列 ： .period_range()

pd.period_range('2020-01','2020-12',freq='M')
PeriodIndex(['2020-01', '2020-02', '2020-03', '2020-04', '2020-05', '2020-06',
             '2020-07', '2020-08', '2020-09', '2020-10', '2020-11', '2020-12'],
            dtype='period[M]', freq='M')

复杂时期转换 ： .asfreq

在这里插入图片描述

p=pd.Period('2020Q4','Q-JAN')
In [3]:

p.asfreq('M',how='start'),p.asfreq('M',how='end')
Out[3]:
(Period('2019-11', 'M'), Period('2020-01', 'M'))
In [4]:

+16*60+20
#获取该季度倒数第二个工作日下午4时20分
(p.asfreq('B')-1).asfreq('T')+16*60+20
Out[4]:
Period('2020-01-31 16:19', 'T')

时间重采样

  • 降采样： 高频率 —低频率（5分钟股票交易）
  • 升采样： 低频率 —高频率
  • 其他重采样： （每周三*（W.WED）转换为每周五（W.FRI））

Timestamp—Period 相互转换
转化为period: .to_period()
转化为timestamp: .to_timestamp()

时间戳的时间序列转化为时期的时间序列:

s=pd.Series(np.random.randn(5),index=pd.date_range('2016-04-01',periods=5,freq='M'))
In [6]:

s
s
Out[6]:
2016-04-30   -1.132060
2016-05-31    0.034586
2016-06-30   -0.607065
2016-07-31    0.603194
2016-08-31   -1.739736
Freq: M, dtype: float64
In [7]:

s.to_period()
Out[7]:
2016-04   -1.132060
2016-05    0.034586
2016-06   -0.607065
2016-07    0.603194
2016-08   -1.739736
Freq: M, dtype: float64
重采样

采样时间改为5min 每次 ： .resample()

#############       采样时间改为5min 每次        ###############
ts=pd.Series(np.random.randint(0,50,60),index=pd.date_range('2020-05-03 06:20',periods=60,freq='T'))
ts.resample('5min',how='sum',label='right')
Out[10]:
2020-05-03 06:25:00    147
2020-05-03 06:30:00    156
2020-05-03 06:35:00     73
2020-05-03 06:40:00    129
2020-05-03 06:45:00    125
2020-05-03 06:50:00    170
2020-05-03 06:55:00    131
2020-05-03 07:00:00     85
2020-05-03 07:05:00    122
2020-05-03 07:10:00    145
2020-05-03 07:15:00     98
2020-05-03 07:20:00    133
Freq: 5T, dtype: int32
OHLC 重采样

金融数据专用：Open/High/Low/Close

In [18]:

ts.resample('5min').ohlc()
Out[18]:
open	high	low	close
2020-05-03 06:20:00	48	48	4	4
2020-05-03 06:25:00	1	49	1	49
2020-05-03 06:30:00	18	45	11	45
2020-05-03 06:35:00	10	47	6	6
2020-05-03 06:40:00	42	42	13	13
2020-05-03 06:45:00	5	47	5	18
2020-05-03 06:50:00	33	42	11	34
2020-05-03 06:55:00	14	38	6	12
2020-05-03 07:00:00	22	46	22	25
2020-05-03 07:05:00	38	43	2	2
2020-05-03 07:10:00	13	46	13	31
2020-05-03 07:15:00	37	46	2	44
降采样
ts.groupby(lambda x:x.month).sum()
ts.groupby(lambda x:x.month).sum()
Out[19]:
5    1535
dtype: int32
In [20]:

ts.groupby(ts.index.to_period('M')).sum()
Out[20]:
2020-05    1535
Freq: M, dtype: int32
升采样 resample().ffill() ：向前插值
  • resample().ffill() ：向前插值
df=pd.DataFrame(np.random.randint(1,50,2),index=pd.date_range('2016-04-22',periods=2,freq='W-FRI'))
df
Out[24]:
2016-04-22	27
2016-04-29	23
In [31]:

df.resample('D').ffill()
Out[31]:
2016-04-22	27
2016-04-23	27
2016-04-24	27
2016-04-25	27
2016-04-26	27
2016-04-27	27
2016-04-28	27
2016-04-29	23
时期重采样
In [32]:
df=pd.DataFrame(np.random.randint(2,30,(24,4)),
               index=pd.period_range('2015-01','2016-12',freq='M'),
               columns=list('ABCD'))
In [33]:df
Out[33]:
A	B	C	D
2015-01	29	8	9	4
2015-02	5	12	9	14
2015-03	17	3	6	27
2015-04	2	9	24	18
2015-05	25	18	7	2
2015-06	20	5	12	11
2015-07	27	26	7	4
2015-08	12	6	23	29
2015-09	10	7	6	14
2015-10	24	5	27	24
2015-11	27	5	21	5
2015-12	26	21	13	12
2016-01	25	27	11	11
2016-02	2	10	19	13
2016-03	2	9	14	11
2016-04	11	19	5	15
2016-05	4	16	15	20
2016-06	22	6	12	24
2016-07	17	21	12	29
2016-08	7	16	11	26
2016-09	29	28	20	22
2016-10	4	5	8	8
2016-11	13	25	23	13
2016-12	4	4	27	13
In [34]:
df.resample('A-DEC',how='sum')
Out[34]:
A	B	C	D
2015	224	125	164	164
2016	140	186	177	205

数据可视化

pandas 的数据可视化使用matplotlib为基础组件，主要介绍Pandas里提供的比matlpotlib更便捷的数据可视化操作。

线形图：

%matplotlib inline 可将图画在ipython notebook 里
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

柱状图：
df=pd.DataFrame(np.random.rand(10,4),columns=['A','B','C','D'])
df
Out[51]:
A	B	C	D
0	0.478985	0.243072	0.128097	0.494833
1	0.408160	0.916931	0.505953	0.766929
2	0.381856	0.719301	0.463464	0.838699
3	0.716902	0.273293	0.697121	0.193656
4	0.545572	0.469010	0.347946	0.649463
5	0.369750	0.963513	0.360416	0.958441
6	0.556283	0.655738	0.361159	0.048039
7	0.402009	0.798952	0.247414	0.325514
8	0.341616	0.761453	0.069824	0.913803
9	0.246660	0.148267	0.778272	0.404940
In [52]:

df.ix[1].plot(kind='bar')
Out[52]:
<matplotlib.axes._subplots.AxesSubplot at 0xe449b50>

在这里插入图片描述

直方图：

在这里插入图片描述

密度图：

在这里插入图片描述

散布图：

在这里插入图片描述

饼图：

在这里插入图片描述

�春风亲吻我像蛋蛋蛋挞。
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习——code.zip
04-03
机器学习（ML)是计算机系统为了有效地执行特定任务，不使用明确的指令，而依赖模式和推理使用的算法和统计模型的科学研究。它被视为人工智能的一个子集。机器学习算法构建一个基于样本数据的数学模型，称为“训练...
Python机器学习从入门到高级：玩转日期型数据（含代码）
阿里云专家博主、数据科学领域优质创作者、统计er在读
05-02 1693
Python机器学习：日期型数据处理 🌸个人主页：JoJo的数据分析历险记 📝个人介绍：小编大四统计在读，目前保研到统计学top3高校继续攻读统计研究生 💌如果文章对你有帮助，欢迎✌关注、👍点赞、✌收藏、👍订阅专栏 文章目录Python机器学习：日期型数据处理💮1. 将字符串转换成日期🏵️2. 处理时区🌹3. 选择日期和时间🌺4. 将数据切分成多个特征🌻5.计算两个日期之间的时间差 在我们进行一些时间序列问题时，往往要对日期型数据进行分析处理，本章介绍一下如何使用python处理日期型数据 💮1. 将字
pytho机器学习值之处理日期和时间
Rocket,Qian的博客
09-11 3284
处理日期和时间1.1 把字符串转换成日期1.2 处理时区1.3 选择日期和时间1.4 将日期数据切分成多个特征1.5 计算两个日期之间的时间差1.6 对一周之内的各天进行编码1.7 创建一个滞后的特征1.8 使用滚动时间窗口1.9 处理时间序列中的缺失值 1.1 把字符串转换成日期 把一个代表日期和时间的字符串向量转换成时间序列数据 解决方案： 使用pandas的to_datatime函数，并通过format参数指定字符串的日期和时间格式。 import numpy as np import pandas
Python机器学习：date diff对日期格式的数据进行转码
Sukey666666的博客
12-25 586
特征工程中的日期转码问题
【机器学习知识整理二】处理分类数据、处理文本、处理日期和时间
好记性不如烂笔头
04-16 2796
系列文章目录 上一篇：机器学习基础知识整理一 文章目录系列文章目录前言一、处理分类数据1. 对nominal型分类特征编码2. 对ordinal分类特征编码3. 对特征字典编码4. 填充缺失的分类值5. 处理不均衡分类二、处理文本1. 清洗文本2. 解析并清洗HTML3. 移除标点4. 文本分词5. 删除停止词6. 提取词干7. 标注词性8. 将文本编码成词袋9. 按单词的重要性加权三、总结 前言 提示：参考资料《Python机器学习手册-从数据预处理到深度学习》以及从网上查找的其他资料 主要内容：处理
Python Pandas时间序列和重采样
qq_41782791的博客
05-07 529
import pandas as pd import numpy as np import matplotlib.pyplot as plt from datetime import datetime from datetime import timedelta 获取现在时间 now = datetime.now() print(now) print(now.year, now.month, ...
机器学习——Titanic.zip
最新发布
04-03
机器学习（ML)是计算机系统为了有效地执行特定任务，不使用明确的指令，而依赖模式和推理使用的算法和统计模型的科学研究。它被视为人工智能的一个子集。机器学习算法构建一个基于样本数据的数学模型，称为“训练...
机器学习 —— 机器学习概述.pptx
11-28
物流人工智能_机器学习
OpenCV机器学习——支持向量机SVM
01-27
OpenCV中集成了多种机器学习算法供我们方便使用，如果我们要训练数据进行分类，不用自己写分类器，只需要调用相应的库和类即可轻松实现。本文重点不在于介绍机器学习原理及数学推导，着重介绍OpenCV中的机器学习相关...
机器学习——单变量线性回归详解
12-22
文章目录数据导入作图：我们可以先把这些离散的点在散点图上呈现出来，对数据有一个直观的感受，根据数据点的分布去选者一个合适的模型。向量化：将数据数据向量化：分成两个维度，第一维所有的行都要，X是前面所有...
时间序列建模的时间戳与时序特征衍生思路
Pysamlam的博客
02-20 2550
今日锦囊特征锦囊：时间序列建模的时间戳与时序特征衍生思路时间序列模型在我们日常工作中应用的场景还是会很多的，比如我们去预测未来的销售单量、预测股票价格、预测期货走势、预测酒店入住等等，这也...
机器学习---数据科学包---时间日期
weixin_43056275的博客
11-07 279
课堂学习笔记时间序列复习datetime 时间序列 时间日期 时间戳：固定时刻 固定时期period：pd.Period 时间间隔interval：由起始时间和结束时间表示，固定时期是一个特殊的时间间隔 时间日期的作用： 分析金融数据，如股票交易数据 分析服务器日志 复习datetime ...
时间戳定义
BigBirdKing的博客
07-03 1万+
时间戳（timestamp）：    通常是一个字符序列，唯一地标识某一刻的时间。数字时间戳技术是数字签名技术一种变种的应用。定义：    时间戳是指格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总秒数。...
机器学习必看的28个视频
07-11 6216
想自学机器学习和深度学习？不妨边看专家讲解视频边自学。不仅能感受世界各地专家的熏陶，也能快速获取知识，一举两得。这篇文章整理了一个 YouTube 视频列表，供希望在该领域学习的朋友使用。 转自:　http://easygeek.com.cn/article/NZf2Av.html 视频观看建议 我将视频分为三类：机器学习、神经网络、深度学习。为方便起见，你可以使用我创建
时间戳判断问题
weixin_30832143的博客
05-15 1011
JS获取当前时间戳的方法-JavaScript 获取当前毫秒时间戳有以下三种方法： var timestamp =Date.parse(new Date()); 结果：1280977330000 //不推荐; 毫秒改成了000显示 var timestamp =(new Date()).valueOf(); 结果：1280977330748 ...
Python中时间与时间戳之间的转换
热门推荐
null的专栏
05-09 36万+
对于时间数据，如2016-05-05 20:28:54，有时需要与时间戳进行相互的运算，此时就需要对两种形式进行转换，在Python中，转换时需要用到time模块，具体的操作有如下的几种： 将时间转换为时间戳 重新格式化时间 时间戳转换为时间 获取当前时间及将其转换成时间戳 1、将时间转换成时间戳将如上的时间2016-05-05 20:28:54转换成时间戳，具体的操作过程为： 利用strptime
今天来学习下美团推荐算法实践：机器学习重排序模型
猫爷大数据学习笔记
11-14 1万+
转载，来自小象学院。 美团推荐算法实践：机器学习重排序模型 文章介绍了美团推荐系统的构架和优化过程，包括数据层，触发层，融合过滤层和排序层，采用了Hbase，Hive，Storm，Spark和机器学习等技术。两个优化两点将是候选集进行融合与引入重排序模型。 看的到这里顿时觉得高大上了，有木有…… 在用户意图明确时，我们通过用搜索引擎来结局互联网时代的信息过载问题，但当用户的意图不明确的时候或
python时间,日期,时间戳处理
xiaobing的专栏
10-11 13万+
1.将字符串的时间转换为时间戳     方法:         a = "2013-10-10 23:40:00"         将其转换为时间数组         import time         timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S") 转换为时间戳: timeStamp = int(time.mktime(timeAr
时间戳问题
weixin_33895695的博客
05-08 692
为什么80%的码农都做不了架构师？>>> ...
机器学习——共享单车数据集预测
05-15
共享单车数据集预测是一个常见的机器学习问题，可以通过建立预测模型来预测共享单车的租用数量。下面是一个简单的步骤： 1. 数据收集：收集共享单车的历史数据，包括租用数量、天气、日期、时间、季节等信息。 2. 数据清洗：对数据进行清洗，包括去除无用数据、缺失值处理、异常值处理等。 3. 特征工程：根据收集到的数据，提取出有用的特征，比如将日期和时间拆分成年、月、日、时、分等单独的特征。 4. 数据切分：将数据集切分成训练集和测试集，通常使用交叉验证方法来进行切分。 5. 模型训练：选择合适的机器学习算法，比如线性回归、决策树、随机森林等，对训练集数据进行训练。 6. 模型评估：使用测试集数据对训练好的模型进行评估，计算模型的准确率、精度、召回率等指标。 7. 模型调优：根据评估结果，对模型进行调优，比如调整算法参数、增加特征等。 8. 模型应用：使用训练好的模型进行预测，比如预测未来一段时间内的共享单车租用数量。 以上是共享单车数据集预测的一般步骤，具体实现需要根据具体情况进行调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值