Spark自定义函数&例子

最新推荐文章于 2024-10-01 18:52:18 发布

牛牛木有坏心眼（大数据进阶）

最新推荐文章于 2024-10-01 18:52:18 发布

阅读量391

点赞数 1

分类专栏： spark 文章标签： spark ajax javascript

本文链接：https://blog.csdn.net/weixin_56130021/article/details/141632534

版权

spark 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

spark自定义函数，Spark sql 使用和dataFrame方式使用

#自定义函数名字
def convert_zdy(sex):
    return "男" if sex == '1' else "女"

if __name__ == '__main__':
    spark = SparkSession.builder.master("local[*]").appName("自定义函数").getOrCreate()
    dataFrame = spark.read.json(r"D:\pythonProject\b.json")

    dataFrame.createOrReplaceTempView("t_user")
    #注册自定义函数
    convert_dsl = spark.udf.register("convert",convert_zdy)
    #spark SQL使用自定义函数
    spark.sql("select name,age,convert(sex) sex from t_user").show()

    import pyspark.sql.functions as F
    #dsl使用自定义函数（方式1）需要接收udf的函数
    dataFrame.select(F.col("name"),F.col("age"),convert_dsl (F.col("sex")).alias("sex")).show()

    spark.stop()