pyspark--groupby条件分组

最新推荐文章于 2025-02-16 08:50:37 发布

囊萤映雪的萤

最新推荐文章于 2025-02-16 08:50:37 发布

阅读量2.9k

点赞数 1

分类专栏：大数据 pyspark 文章标签：大数据 spark

本文链接：https://blog.csdn.net/liuyingying0418/article/details/108021220

版权

大数据同时被 2 个专栏收录

21 篇文章

订阅专栏

pyspark

12 篇文章

订阅专栏

本文详细介绍如何使用PySpark对数据进行条件分组，通过实例演示了如何根据分数判断及格与不及格，并统计各组人数。适用于大数据处理场景，展示了PySpark在数据筛选与分析方面的强大能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一些情况下，我们需要将数据按照某种条件划分，一部分满足条件的进行分析，另一部分不满足条件的划分为另一组进行分析。

假设我们有如下数据：

from pyspark.sql import Row, functions as F

col_names = ["name", "score"]
value = [
    ("Red", 100.0),
    ("Origen", 80.0),
    ("Yellow", 55.0),
    ("Green", 90.0),
    ("Cyan", 85.0),
    ("Blue", 50.0),
    ("Purple", 70.0),
]
df = spark.createDataFrame(value, col_names)

现在需要对数据按照score进行划分，大于等于60分的记为及格，其余的记为不及格，统计及格和不及格人数。那么就需要在分组的时候依据score是否大于60的条件划分。代码如下：

df.groupBy((F.when(F.col("score")>=60,"pass").otherwise("flunk")).alias("result")).agg(F.count('*').alias("cnt")).show()

使用when条件语句进行判断，当score大于等于60时，分组记为"pass"，否则就记为"flunk"，并将该列重命名为"result"。聚合过程中使用count计数即可。结果如下：

+------+---+
|result|cnt|
+------+---+
| flunk|  2|
|  pass|  5|
+------+---+

参考链接：pyspark-dataframe-conditional-groupby