Python Pandas 时间数据处理与分析：读取、创建与时区转换

已于 2024-11-20 18:04:14 修改
阅读量561 收藏 5
点赞数 3
分类专栏： 一起学 Python 文章标签： python pandas numpy 数据分析 开发语言 matplotlib
于 2024-11-12 10:47:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014394049/article/details/143704775
版权

Python Pandas 时间数据处理与分析：读取、创建与时区转换

本文详细介绍了如何使用 pandas 处理和分析时间数据，包括时间序列的读取与格式化、自定义时间序列的创建、时间运算、特定时间段的数据获取和时区转换。通过 pd.to_datetime()、pd.date_range() 等方法，开发者可以轻松读取日志或文件中的时间数据，创建自定义时间序列，并对时间进行加减运算。此外，文章还展示了如何利用 tz_localize() 和 tz_convert() 进行时区设置和转换，以便实现多时区数据的管理与分析。图表展示与代码示例直观易懂，适合数据分析的入门学习。

文章目录

引入第三方库

import numpy as np
import pandas as pd
import datetime
import matplotlib.pyplot as plt
import pytz

一 主要功能

pandas 处理时间序列的常用方法

功能描述方法1方法2方法3
读时间序列数据pd.to_datetime()--
自建时间序列pd.date_range()--
时间运算pd.Timedelta()dt.dayofyear; dt.dayofweekdt.weekofyear; dt.weekday
格式化时间dt.strftime()dt.day_name()dt.month_name()
时区tz_localize()tz_convert()pytz.country_timezones()

二 时序列数据读取

从日志文件或者其他文件中读取出的时间序列数据通常为 dtype: object。可以使用 pd.to_datetime() 将其转换为 datetime64 类型。

    # 创建示例数据框  
    df = pd.DataFrame({
        "time": ["2022/03/12", "2022/03/13", "2022/03/14"],
        "value": [1, 2, 3]
    })
    print(df)
    print("\n\ntime:\n", df["time"])

将时间列 dtype: object 转换为 datetime64：

		# 将时间列从 dtype:object 转换为 datetime64 类型
		print(pd.to_datetime(df["time"]))
格式化字符串转换为日期格式

pd.to_datetime() 可以处理格式不统一的日期字符串，并通过 format 参数来指定复杂的自定义格式：

		# 转换多种格式的日期字符串
  	print(pd.to_datetime(
        ["2022/03/12", "2022.03.13", "14/03/2022"], format='mixed'))
    
    # 自定义格式转换
    print(pd.to_datetime(
        [
            "1@21@2022%%11|11|32",
            "12@01@2022%%44|02|2",
            "4@01@2022%%14|22|2"
        ],
        format="%m@%d@%Y%%%%%S|%H|%M"))

注：时间格式化字符串 %m, %d, %Y, %%, %S, %H, %M 分别代表月、日、完整的年份、百分号%、秒、小时和分钟。可以随时查阅 Python 官方文档 以了解详细的用法。

三 自定义时间序列数据

可以使用 pd.date_range() 创建自定义时间序列数据

  	# 创建时间范围 	
  	start = datetime.datetime(2022, 3, 12)
    end = datetime.datetime(2022, 3, 18)

    index = pd.date_range(start, end)
    print(index)

Python 中 range() 可以控制步长，类似地，pandas 中的 pd.date_range() 也支持通过 freq 参数来控制时间间隔：

		# range 和 pd.date_range 示例
		print("range(1, 10, 2)\n", list(range(1, 10, 2)))
		print("\n\npd.date_range()\n", pd.date_range(start, end, freq="48h"))

Numpy 中 np.linspace() 可以在区间内均匀分割数据，类似地，pandas 中pd.date_range() 可以使用 periods 参数创建指定周期的数据：

		# np.linspace 和 pd.date_range 示例
		print("np.linspace(-1, 1, 5)\n", np.linspace(-1, 1, 5))
		print("\n\nPd.date_range with periods\n", pd.date_range(start, end, periods=5))

四 时间序列数据获取

 	 	# 创建时间序列数据  
  	start = datetime.datetime(2022, 3, 1)
    end = datetime.datetime(2022, 5, 3)

    rng = pd.date_range(start, end)
    ts = pd.Series(np.random.randn(len(rng)), index=rng)
    print(ts)
    print(ts.index)
    print(ts.plot())
    plt.show()

在这里插入图片描述

时间分片可以用于获取特定时间段的数据，例如获取一周内的数据：

    # 获取一周内的时间序列数据
    ts[1:8].plot()
    plt.show()

在这里插入图片描述

还可以通过指定时间范围获取时间片段：

  	# 获取特定时间范围的数据 	
  	t1 = datetime.datetime(2022, 3, 12)
    t2 = datetime.datetime(2022, 3, 18)
    # ts[t1: t2].plot()
    # plt.show()
    ts["2022-03-12": "2022-03-18"].plot()
    plt.show()

在这里插入图片描述

按月获取数据：

    # 获取特定月份的数据
    ts["2022-03"].plot()
    plt.show()

在这里插入图片描述

五 时间运算

时间序列数据支持时间运算，可以加减时间段（pd.Timedelta()）：

  	# 时间运算示例  
  	rng = pd.date_range("2022-01-01", "2022-01-07")
    print(rng + pd.Timedelta(weeks=1))
    print(rng + 2 * pd.Timedelta(days=3))
    
    rng = pd.date_range("2022-01-08", "2022-01-11")
    print(rng.dayofyear)
		# 格式化时间输出
    print(rng.strftime("%m/%d/%Y"))

更多参考：pandas Timestamp 文档

六 时区处理

处理时间序列数据时，可以使用 tz_localize() 和 tz_convert() 进行时区设置和转换：

		# 时区处理示例
		rng = pd.date_range("2022-01-08", "2022-01-11")
		print(rng.tz is None)

		# 将时间序列数据本地化为特定时区
		s = pd.to_datetime(["2022/03/12 22:11", "2022/03/12 12:11", "2022/03/12 2:11"])
		s_us = s.tz_localize("America/New_York")
		print(s_us)

		# 转换到其他时区
		s_cn = s_us.tz_convert("Asia/Shanghai")
		print(s_cn)

		# 查看中国的所有时区
		print(pytz.country_timezones('CN'))

		# 创建包含时区的时间序列
		rng = pd.date_range("2022-01-08", "2022-01-11", tz="America/New_York")
		print(rng)

更多参考：pandas timeseries 文档

七 完整代码示例

# This is a sample Python script.

# Press ⌃R to execute it or replace it with your code.
# Press Double ⇧ to search everywhere for classes, files, tool windows, actions, and settings.
import numpy as np
import pandas as pd
import datetime
import matplotlib.pyplot as plt
import pytz


def print_hi(name):
    # Use a breakpoint in the code line below to debug your script.
    print(f'Hi, {name}')  # Press ⌘F8 to toggle the breakpoint.

    # 读时间序列数据

    df = pd.DataFrame({
        "time": ["2022/03/12", "2022/03/13", "2022/03/14"],
        "value": [1, 2, 3]
    })
    print(df)
    print("\n\ntime:\n", df["time"])
    # dtype:object
    # 转成 datetime64
    print(pd.to_datetime(df["time"]))
    print(pd.to_datetime(
        ["2022/03/12", "2022.03.13", "14/03/2022"], format='mixed'))
    print(pd.to_datetime(
        [
            "1@21@2022%%11|11|32",
            "12@01@2022%%44|02|2",
            "4@01@2022%%14|22|2"
        ],
        format="%m@%d@%Y%%%%%S|%H|%M"))
    # https://docs.python.org/3/library/datetime.html#strftime-and-strptime-behavior
    # %m 月
    # %d 日
    # %Y 年的全称
    # %% 比配一个 %
    # %S 秒
    # %H 时
    # %M 分

    # 自建时间序列
    start = datetime.datetime(2022, 3, 12)
    end = datetime.datetime(2022, 3, 18)

    index = pd.date_range(start, end)
    print(index)

    print(
        "range(1, 10, 2)\n",
        list(range(1, 10, 2))
    )
    print(
        "\n\npd.date_range()\n",
        pd.date_range(start, end, freq="48h")
    )
    print(
        "np.linspace(-1, 1, 5)\n",
        np.linspace(-1, 1, 5)
    )
    # 均匀分布
    print(
        "\n\npd.date_range(start, end, periods=5)\n",
        pd.date_range(start, end, periods=5)
    )
    # 选取时间
    start = datetime.datetime(2022, 3, 1)
    end = datetime.datetime(2022, 5, 3)

    rng = pd.date_range(start, end)
    ts = pd.Series(np.random.randn(len(rng)), index=rng)
    print()
    print(ts)
    print()
    print(ts.index)
    print(ts.plot())
    plt.show()
    # 显示某一周时间数据
    ts[1:8].plot()
    plt.show()
    # 时间本身分片
    t1 = datetime.datetime(2022, 3, 12)
    t2 = datetime.datetime(2022, 3, 18)
    ts[t1: t2].plot()
    plt.show()
    ts["2022-03-12": "2022-03-18"].plot()
    plt.show()
    # 按月按年取
    ts["2022-03"].plot()
    plt.show()
    print()
    # 时间运算
    # 加一周
    rng = pd.date_range("2022-01-01", "2022-01-07")
    print(rng + pd.Timedelta(weeks=1))
    print(rng + 2 * pd.Timedelta(days=3))
    rng = pd.date_range("2022-04-08", "2022-04-11")
    print(rng.dayofyear)

    print(rng.strftime("%m/%d/%Y"))
    # https://pandas.pydata.org/docs/reference/arrays.html#datetime-data

    # 时区
    rng = pd.date_range("2022-01-08", "2022-01-11")
    print(rng.tz is None)
    s = pd.to_datetime(
        ["2022/03/12 22:11", "2022/03/12 12:11", "2022/03/12 2:11"]
    )
    s_us = s.tz_localize("America/New_York")
    print(s_us)
    s_cn = s_us.tz_convert("Asia/Shanghai")
    print(s_cn)
    print(pytz.country_timezones('CN'))
    rng = pd.date_range(
        "2022-01-08", "2022-01-11",
        tz="America/New_York")
    print(rng)
    # https://pandas.pydata.org/docs/user_guide/timeseries.html


# Press the green button in the gutter to run the script.
if __name__ == '__main__':
    print_hi('时间数据')

# See PyCharm help at https://www.jetbrains.com/help/pycharm/

复制粘贴并覆盖到你的 main.py 中运行，运行结果如下。

Hi, 时间数据
         time  value
0  2022/03/12      1
1  2022/03/13      2
2  2022/03/14      3


time:
 0    2022/03/12
1    2022/03/13
2    2022/03/14
Name: time, dtype: object
0   2022-03-12
1   2022-03-13
2   2022-03-14
Name: time, dtype: datetime64[ns]
DatetimeIndex(['2022-03-12', '2022-03-13', '2022-03-14'], dtype='datetime64[ns]', freq=None)
DatetimeIndex(['2022-01-21 11:32:11', '2022-12-01 02:02:44',
               '2022-04-01 22:02:14'],
              dtype='datetime64[ns]', freq=None)
DatetimeIndex(['2022-03-12', '2022-03-13', '2022-03-14', '2022-03-15',
               '2022-03-16', '2022-03-17', '2022-03-18'],
              dtype='datetime64[ns]', freq='D')
range(1, 10, 2)
 [1, 3, 5, 7, 9]


pd.date_range()
 DatetimeIndex(['2022-03-12', '2022-03-14', '2022-03-16', '2022-03-18'], dtype='datetime64[ns]', freq='48h')
np.linspace(-1, 1, 5)
 [-1.  -0.5  0.   0.5  1. ]


pd.date_range(start, end, periods=5)
 DatetimeIndex(['2022-03-12 00:00:00', '2022-03-13 12:00:00',
               '2022-03-15 00:00:00', '2022-03-16 12:00:00',
               '2022-03-18 00:00:00'],
              dtype='datetime64[ns]', freq=None)

2022-03-01    1.481681
2022-03-02   -0.702829
2022-03-03    1.056303
2022-03-04   -0.466668
2022-03-05    1.025660
                ...   
2022-04-29   -0.546073
2022-04-30    0.621919
2022-05-01   -3.192217
2022-05-02    1.493657
2022-05-03    1.082105
Freq: D, Length: 64, dtype: float64

DatetimeIndex(['2022-03-01', '2022-03-02', '2022-03-03', '2022-03-04',
               '2022-03-05', '2022-03-06', '2022-03-07', '2022-03-08',
               '2022-03-09', '2022-03-10', '2022-03-11', '2022-03-12',
               '2022-03-13', '2022-03-14', '2022-03-15', '2022-03-16',
               '2022-03-17', '2022-03-18', '2022-03-19', '2022-03-20',
               '2022-03-21', '2022-03-22', '2022-03-23', '2022-03-24',
               '2022-03-25', '2022-03-26', '2022-03-27', '2022-03-28',
               '2022-03-29', '2022-03-30', '2022-03-31', '2022-04-01',
               '2022-04-02', '2022-04-03', '2022-04-04', '2022-04-05',
               '2022-04-06', '2022-04-07', '2022-04-08', '2022-04-09',
               '2022-04-10', '2022-04-11', '2022-04-12', '2022-04-13',
               '2022-04-14', '2022-04-15', '2022-04-16', '2022-04-17',
               '2022-04-18', '2022-04-19', '2022-04-20', '2022-04-21',
               '2022-04-22', '2022-04-23', '2022-04-24', '2022-04-25',
               '2022-04-26', '2022-04-27', '2022-04-28', '2022-04-29',
               '2022-04-30', '2022-05-01', '2022-05-02', '2022-05-03'],
              dtype='datetime64[ns]', freq='D')
Axes(0.125,0.11;0.775x0.77)

DatetimeIndex(['2022-01-08', '2022-01-09', '2022-01-10', '2022-01-11',
               '2022-01-12', '2022-01-13', '2022-01-14'],
              dtype='datetime64[ns]', freq='D')
DatetimeIndex(['2022-01-07', '2022-01-08', '2022-01-09', '2022-01-10',
               '2022-01-11', '2022-01-12', '2022-01-13'],
              dtype='datetime64[ns]', freq='D')
Index([98, 99, 100, 101], dtype='int32')
Index(['04/08/2022', '04/09/2022', '04/10/2022', '04/11/2022'], dtype='object')
True
DatetimeIndex(['2022-03-12 22:11:00-05:00', '2022-03-12 12:11:00-05:00',
               '2022-03-12 02:11:00-05:00'],
              dtype='datetime64[ns, America/New_York]', freq=None)
DatetimeIndex(['2022-03-13 11:11:00+08:00', '2022-03-13 01:11:00+08:00',
               '2022-03-12 15:11:00+08:00'],
              dtype='datetime64[ns, Asia/Shanghai]', freq=None)
['Asia/Shanghai', 'Asia/Urumqi']
DatetimeIndex(['2022-01-08 00:00:00-05:00', '2022-01-09 00:00:00-05:00',
               '2022-01-10 00:00:00-05:00', '2022-01-11 00:00:00-05:00'],
              dtype='datetime64[ns, America/New_York]', freq='D')

八 源码地址

代码地址：

国内看 Gitee 之 pandas/时间数据.py

国外看 GitHub 之 pandas/时间数据.py

引用 莫烦 Python

pandas教程：Time Zone Handling 时区处理
Cachel Wood的博客
11-19 304
观测所门口墙上有一个标志24小时的时钟，显示当下的时间，对全球而言，这里所设定的时间是世界时间参考点，全球都以格林威治的时间作为标准来设定时间，这就是我们耳熟能详的「格林威治标准时间」(为准)、地轴运动修正后的新时标以及以「秒」为单位的国际原子时所综合精算而成的时间，计算过程相当严谨精密，因此若以「世界标准时间」的角度来说，)的由来，标示在手表上，则代表此表具有两地时间功能，也就是同时可以显示原居地和另一个国度的时间。讲朴素的时间戳进行本地化，还会检查夏令时转换期附近是否有模糊的或不存在的时间。
022—pandas 根据时间段转换为各小时的秒数
2202_76035290的博客
03-07 718
以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
pandas 时区转换问题
weixin_45083611的博客
04-23 555
import pandas as pd data['timestamp']=pd.to_datetime(list(data['timestamp']), unit='s', utc=True).tz_convert('Asia/Shanghai').strftime("%Y-%m-%d %H:%M:%S")```
Pandas教程：dt.tz_convert时区转化
最新发布
我的Python教程
02-19 462
请注意，如果你的原始时间戳数据已经包含了时区信息（例如，它们是ISO 8601格式的字符串，并且包含了时区偏移量），则你可能不需要使用 tz_localize 方法。但是，如果它们没有时区信息（即它们是naive时间戳），则你需要先使用 tz_localize 方法为它们指定一个时区，然后再使用 tz_convert 方法进行转换。然后，我们使用 pd.to_datetime 将时间戳列转换为datetime类型，并使用 dt.tz_localize 方法将其设置为UTC时区。进程已结束,退出代码0。
第2章-2 用pandas对时区进行计数 学习笔记
nightvv的博客
12-26 777
基本没看懂，照着书把代码copy了一遍，简直呵呵 #!-*-coding:utf-8-*- import json path = "C:\Python learn\pydata-book-master\ch02\usagov_bitly_data2012-03-16-1331923249.txt" records = [json.loads(line) for line in open(pat
Pandas时间序列：时区处理
bqw的博客
07-05 1万+
import pandas as pd import numpy as np 一、基本概念介绍 UTC：协调世界时，全世界唯一的统一时间； DST：夏令时，即不同国家不同地区的时间是不同的； 时区是以UTC偏移量的形式表示的。例如，夏令时期间，纽约比UTC慢4小时，而全年其他时间比UTC慢5小时； 二、Python中的时区第三方库pytz import pytz 1.通过...
python中pandas处理日期时间
06-26
在Python的Pandas库中，处理日期和时间数据是一项核心任务，尤其对于数据分析和数据科学项目来说至关重要。Pandas提供了一系列强大的工具来帮助我们轻松地读取、操作和分析日期时间数据。 首先，我们可以通过`pd....
Python Pandas 时间序列分析
weixin_42098295的博客
01-09 1277
移动窗口是时间序列分析中的一个强大工具，特别适用于趋势分析、数据平滑处理等应用场景。处理时间序列时常用的功能之一是时间频率的转换，包括重采样（Resampling）和频率转换（Frequency Conversion）。重采样是改变时间序列频率的过程，包括将高频率数据转换为低频率（降采样），或将低频率数据转换为高频率（升采样）。Pandas 库中，处理时间数据是一个核心功能，特别是对于时间序列分析。pd.Timedelta 对象表示一个时间间隔，可以用来进行日期和时间的计算。
Python数据分析--Pandas
2301_80728907的博客
12-14 953
Pandas是数据分析三大剑客之一，是Python的核心数据分析库。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供Pandas提供了大量能使我们快速便捷地处理数据的函数和方法，它是使Python成为强大而高效的数据分析环境的重要因素之一。在Python数据分析学习中，我学会了如何使用pandas进行数据的读取和写入。pandas提供了丰富的读取和写入数据的函数，可以轻松地处理各种数据格式，如CSV、Excel、SQL等。
pandas题目练习（Python Pandas 数据分析，编程练习100例）.zip
01-03
Pandas是Python编程中用于数据处理和分析的重要库，它提供了高效的数据结构，如DataFrame和Series，使得数据清洗、转换、聚合等操作变得简单易行。Pandas库的设计目标是使数据科学家能够快速、灵活且方便地处理结构...
Pandas（Python库）：Pandas基础入门
kkchenjj的博客
07-18 834
Series是Pandas库中的一个基本数据结构，它类似于一维数组，可以存储任何数据类型（整数、字符串、浮点数、Python对象等）。Series由一组数据（数组）和与之相关的索引两部分构成。索引可以是任何数据类型，包括整数、字符串、日期等，这使得Series在处理数据时非常灵活。DataFrame是Pandas库中的另一个核心数据结构，它是一个表格型的数据结构，可以看作是由多个Series组成的二维数组。DataFrame可以存储不同类型的列，每一列可以有不同的数据类型。
datetime与pandas如何控制时区timezone
Fan-Yan的博客
06-12 785
pandas的tz_localize与pytz.timezone().localize用来设置时区，会更改timestamp。pandas的tz_convert与datetime.astimezone()用来更改时区，更改时区不会改变timestamp。pandas的to_datetime生成时间，默认对应到UTC时区，而由datetime.strptime生成的时间，默认对应到当地时间。
使用Python处理Pandas时间数据的转换技巧
csdn1561168266的博客
11-09 1311
在某些应用场景中，可能需要将标准的日期时间格式转换为特定的格式进行输出。Pandas提供了strftime()方法来实现这一需求。# 将标准日期时间格式转换为自定义格式df['自定义格式'] = df['日期时间_转换后'].dt.strftime('%Y年%m月%d日 %H:%M')print(df)日期时间 日期时间_转换后 自定义格式0 2023-01-01 10:00:00+08:00 2023-01-01 10:00:00+08:00 2023年01月01日 10:00。
Pandas处理时间类型数据
筱白熊
06-07 2163
Pandas处理时间类型数据 时间序列数据描述 数据分析的分析对象不仅仅限于数值型和类别型两种,常用的数据类型还包括了时间类型.通过时间类型数据能够获取东岸对应的年月日和星期等信息.但时间类型数据在读入Python后常常以字符串形式出现,无法实现大部分与时间相关的分析.pandas库继承了NumPy库的datetime64以及timedelta64模块,能够快速地实现时间字符串的转换、信息提取和时间运算。 转换字符串时间为标准时间 在多数情况下，对时间类型数据进行分析的前提就是将原本为字符串的时间转换为标准
pandas 时间序列的时间读取
颹蕭蕭
12-28 3145
当年、月、日、时、分、秒处于 csv 文件的不同列时，用 pandas 读取到一列，并转化成 datetime 类型
Pandas读文件的时候，以特定格式读取日期或时间date_parse
博饼的专栏
05-15 4955
Excel或csv上的日期+时间格式通常是： 2018/4/10 16:32 因此，在读文件的时候，最好提前设定时间的格式。 import pandas as pd dateparse = lambda dates: pd.datetime.strptime(dates, '%Y/%m/%d %H:%M') datapd=pd.read_csv("D:\data.csv",parse_dates=True,date_parser=dateparse,index_col=0) 有时候手写日期会.
Pandas时间相关的方法
qq_45055172的博客
12-14 585
pandas时序数据处理常用方法总结
52_Pandas处理日期和时间列（字符串转换、日期提取等）
热门推荐
qq_18351157的博客
11-05 2万+
将解释如何操作表示 pandas.DataFrame 的日期和时间（日期和时间）的列。字符串与 datetime64[ns] 类型的相互转换，将日期和时间提取为数字的方法等。以下内容进行说明。
Python3时间处理：datetime、time库与pandas时间序列对比解析
总结来说，`time`库适用于基本的时间戳操作和简单的时间日期转换，`datetime`库更适合处理复杂的时间和日期计算，而`pandas`则在大数据分析和时间序列处理中发挥优势，尤其是在金融、气象、交通等领域。选择哪个库取...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

敲代码不忘补水

感谢有你，让我的创作更有价值！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值