Pyspark 时间窗口函数

JerryFoo

已于 2023-05-12 19:23:03 修改

阅读量440

点赞数

分类专栏： Pyspark 文章标签：开发语言 python

于 2023-05-12 19:18:32 首次发布

本文链接：https://blog.csdn.net/fzcoolbaby/article/details/130648727

版权

Pyspark 专栏收录该内容

3 篇文章

订阅专栏

文章展示了如何使用Pyspark的滑动窗口函数对每个用户的小时订单数进行求和。通过Window类和sum函数，定义了一个1小时大小、每次滑动1小时的窗口，计算了df数据帧中user_id和order_time列对应的数据。最终结果存储在hourly_order_count列中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Pyspark提供了多种时间窗口函数，常用的有滑动窗口函数以及窗口聚合函数。以下是一个滑动时间窗口函数的实现示例：

该函数的作用是，对每个用户的小时订单数进行滑动窗口求和。滑动窗口的大小为1小时，每次滑动1小时。这里使用了Window类进行窗口定义，并使用sum函数对窗口内的order_count进行求和，结果存储在hourly_order_count列中。

from pyspark.sql.window import Window
from pyspark.sql.functions import sum, col
from pyspark.sql.types import IntegerType

假设我们有一张表，记录了每个用户在每个小时内的订单数

df = spark.createDataFrame([(1, '2022-01-01 00:00:00', 10),
                            (1, '2022-01-01 01:00:00', 20),
                            (1, '2022-01-01 02:00:00', 5),
                            (1, '2022-01-01 03:00:00', 15),
                            (1, '2022-01-01 04:00:00', 30),
                            (1, '2022-01-01 05:00:00', 40),
                            (2, '2022-01-01 00:00:00', 5),
                            (2, '2022-01-01 01:00:00', 10),
                            (2, '2022-01-01 02:00:00', 7),
                            (2, '2022-01-01 03:00:00', 30),
                            (2, '2022-01-01 04:00:00', 20),
                            (2, '2022-01-01 05:00:00', 10)],
                           ['user_id', 'order_time', 'order_count'])

定义滑动时间窗口

window = Window.partitionBy('user_id').orderBy('order_time').rangeBetween(-3600, 0)

对每个用户的小时订单数进行滑动窗口求和

df = df.withColumn('hourly_order_count', sum(col('order_count')).over(window))

查看结果

df.show()