【Pyspark-驯化】一文搞懂Pyspark中过滤数据filter和when函数的使用技巧

【Pyspark-驯化】一文搞懂Pyspark中过滤数据filter和when函数的使用技巧
 
本次修炼方法请往下查看

🌈 欢迎莅临我的个人主页 👈这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合，智慧小天地！
🎇 相关内容文档获取 微信公众号
🎇 相关内容视频讲解 B站

🎓 博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位 个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。

🔧 技术专长： 在机器学习、搜索、广告、推荐、CV、NLP、多模态、数据分析等算法相关领域有丰富的项目实战经验。已累计为求职、科研、学习等需求提供近千次有偿|无偿定制化服务，助力多位小伙伴在学习、求职、工作上少走弯路、提高效率，近一年好评率100% 。

📝 博客风采： 积极分享关于机器学习、深度学习、数据分析、NLP、PyTorch、Python、Linux、工作、项目总结相关的实用内容。

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

下滑查看解决方法

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

  

🎯 1.基本介绍

  在PySpark中，when和filter是两个非常有用的函数，它们用于在DataFrame中进行条件筛选和数据转换。when通常与select和withColumn一起使用，用于根据条件创建新的列或转换数据。filter则用于根据条件筛选出满足特定条件的行。

💡 2. 代码用法

2.1 初始化spark环境

  对于pyspark来讲，常用的就是sparkcontext类，一般都是先启动一个这样的程序才可以进行相应的操作，而SparkSession可以在不创建SparkConf，SparkContext或SQLContext的情况下创建SparkSession（它们封装在SparkSession中）， 这个sparksession就是用来调取dataframe相关操作的类，具体的操作如下：

    # 一般在进行spark-submit的.py文件在初始化的时候，需要创建spark对象，具体如下
    from pyspark import SparkConf
    from pyspark import SparkContext
    from pyspark.sql import SparkSession
    from pyspark.sql import SQLContext
    from pyspark.sql import Row
    from pyspark.sql.types import StructType
    from pyspark.sql.types import StructField
    from pyspark.sql.types import StringType
    from pyspark.sql import functions as fn
    from pyspark.sql import types as T
    sc_conf = SparkConf().setAppName('b2b_fraud_data')
    spark = SparkSession.builder.config(conf=sc_conf).enableHiveSupport().getOrCreate()

• 而对于上述的两个class来说，经常对创建相关的临时表，createOrReplaceTempView：创建临时视图，此视图的生命周期与用于创建此数据集的[SparkSession]相关联。
  createGlobalTempView：创建全局临时视图，此时图的生命周期与Spark Application绑定。如果想要删除的话就得使用spark.catalog.dropGlobalTempView(“tempViewName”)

2.2 创建DataFrame

  为了更加清楚的理解withcolumnsrename函数的中间结果，具体我们创建如下的数据对其进行操作，具体代码如下所示：

from pyspark.sql import Row

# 创建一个简单的数据集
data = [Row(id=1, name="Alice", age=25, gender="Female"),
        Row(id=2, name="Bob", age=30, gender="Male"),
        Row(id=3, name="Charlie", age=35, gender="Male")]
df = spark.createDataFrame(data)
df.show()

+---+-----+---+--------+
| id| name|age|gender |
+---+-----+---+--------+
|  1|Alice| 25|Female |
|  2|  Bob| 30|  Male |
|  3|Charlie| 35|  Male |

2.3 使用when进行条件筛选和数据转换

  如果通过when进行数据条件刷选，具体的代码如下所示：

from pyspark.sql.functions import when

# 创建一个新列，根据年龄判断是否为成年人
df_with_adult = df.withColumn("is_adult", when(df.age >= 18, True).otherwise(False))
df_with_adult.show()

+---+-----+---+------+------+
| id| name|age|gender|is_adult|
+---+-----+---+------+------+
|  1|Alice| 25|Female|  true|
|  2|  Bob| 30|  Male|  true|
|  3|Charlie| 35|  Male|  true|

2.4 使用filter进行条件筛选

  当然也可以通过filter函数对数据进行刷选，具体的代码如下所示：

# 筛选出成年人的记录
df_adults = df.filter(df.age >= 18)
df_adults.show()

+---+-----+---+--------+
| id| name|age|gender |
+---+-----+---+--------+
|  1|Alice| 25|Female |
|  2|  Bob| 30|  Male |
|  3|Charlie| 35|  Male|

💡 3. 高级用法

3.1 链式使用when和filter

  通常会和其他的函数一起进行使用，具体的操作代码如下所示：

# 筛选出年龄大于30的成年人，并添加新列表示年龄组
df_filtered_and_transformed = df.withColumn("age_group", when(df.age > 30, "Above 30").otherwise("Below 30")).filter(df.age >= 18)
df_filtered_and_transformed.show()

+---+-----+---+------+--------+
| id| name|age|gender|age_group|
+---+-----+---+------+--------+
|  2|  Bob| 30|  Male|Below 30|
|  3|Charlie| 35|  Male|Above 30|

💡 4. 注意事项

• when和filter可以结合使用，以实现复杂的条件筛选和数据转换。
• 使用when时，确保为所有可能的条件提供明确的处理方式，包括使用otherwise。
• filter操作是惰性的，直到遇到行动操作（如show、collect）时才会执行。

💡 5. 总结

  PySpark中的when和filter是两个强大的函数，它们允许用户在DataFrame中进行条件筛选和数据转换。通过本博客的代码示例，我们学习了如何使用when进行条件筛选和数据转换，以及如何使用filter进行条件筛选。希望这篇博客能够帮助你更好地理解when和filter的用法，并将其应用于数据处理任务中。