pyspark orderBy drop_uplicates 保留第一条数据

xiedelong

于 2021-03-02 17:58:35 发布

阅读量610

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/xiedelong/article/details/114290902

版权

大数据专栏收录该内容

16 篇文章

订阅专栏

本文介绍如何在 Spark SQL 中正确实现数据去重，特别是针对需要保留首个记录的情况。通过对比错误做法与正确实现，文章详细解释了利用窗口函数进行精确去重的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 这样无法保留第一个数据
user_df = user_df.orderBy("dt", ascending=False).drop_duplicates(subset=["username"])

# 需要这样使用，dt 倒排，只保存第一个
rank_window = Window.partitionBy("username").orderBy(F.col("dt").desc())
user_df = user_df.withColumn('rank', F.rank().over(rank_window)).where(F.col("rank") == 1).drop('rank').orderBy("dt", ascending=False).drop_duplicates(subset=["username"])
user_df.cache().count()