Pyspark 时间窗口函数

Pyspark提供了多种时间窗口函数，常用的有滑动窗口函数以及窗口聚合函数。以下是一个滑动时间窗口函数的实现示例：

该函数的作用是，对每个用户的小时订单数进行滑动窗口求和。滑动窗口的大小为1小时，每次滑动1小时。这里使用了Window类进行窗口定义，并使用sum函数对窗口内的order_count进行求和，结果存储在hourly_order_count列中。

from pyspark.sql.window import Window
from pyspark.sql.functions import sum, col
from pyspark.sql.types import IntegerType

假设我们有一张表，记录了每个用户在每个小时内的订单数

df = spark.createDataFrame([(1, '2022-01-01 00:00:00', 10),
                            (1, '2022-01-01 01:00:00', 20),
                            (1, '2022-01-01 02:00:00', 5),
                            (1, '2022-01-01 03:00:00', 15),
                            (1, '2022-01-01 04:00:00', 30),
                            (1, '2022-01-01 05:00:00', 40),
                            (2, '2022-01-01 00:00:00', 5),
                            (2, '2022-01-01 01:00:00', 10),
                            (2, '2022-01-01 02:00:00', 7),
                            (2, '2022-01-01 03:00:00', 30),
                            (2, '2022-01-01 04:00:00', 20),
                            (2, '2022-01-01 05:00:00', 10)],
                           ['user_id', 'order_time', 'order_count'])

定义滑动时间窗口

window = Window.partitionBy('user_id').orderBy('order_time').rangeBetween(-3600, 0)

对每个用户的小时订单数进行滑动窗口求和

df = df.withColumn('hourly_order_count', sum(col('order_count')).over(window))

查看结果

df.show()