大数据pyspark sql分析函数lead()和lag()

最新推荐文章于 2025-01-10 14:52:15 发布

Gone、

最新推荐文章于 2025-01-10 14:52:15 发布

阅读量2.1k

点赞数

分类专栏：大数据学习文章标签：数据分析数据挖掘

本文链接：https://blog.csdn.net/weixin_42396197/article/details/122421189

版权

大数据学习专栏收录该内容

4 篇文章

订阅专栏

本文介绍了Lag和Lead函数在一次查询中获取同一字段前后N行数据的方法，并通过实例展示了如何使用这两个函数来实现数据的前后偏移。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 功能

Lag和Lead函数可以在一次查询中取出同一字段的前N行的数据和后N行的值

2 语法

lag(col, offset=1, default=None)

col 被对比的字段

offset 偏移量

default 默认值

3 不多说，直接上案例

session_window = Window.partitionBy("user_id", "sponsor_id").orderBy(functions.col("event_time").asc())
    diff_df = df.withColumn("lead", functions.lead("event_time", 1).over(session_window))\
        .withColumn("lag", functions.lag("event_time", 1).over(session_window))\
        .filter("user_id is not null and user_id !='' and sponsor_id is not null")\
        .select("page", "sponsor_id", "user_id", "event_time", "lead","lag")

运行效果