[Spark] 自定义函数 udf & pandas_udf

最新推荐文章于 2023-12-29 15:00:03 发布

風の唄を聴け

最新推荐文章于 2023-12-29 15:00:03 发布

阅读量988

点赞数 1

分类专栏： Python Spark 文章标签： udf pandas_udf pyspark

本文链接：https://blog.csdn.net/weixin_42902669/article/details/104677557

版权

本文介绍了Apache Spark中两种自定义函数的使用：udf和pandas_udf。udf类似于map操作，处理单个元素。pandas_udf适用于分组操作，允许输入和输出的pandas DataFrame行数不同，但列数必须相同，并提供了两种转换普通函数为pandas udf的方法。

摘要由CSDN通过智能技术生成

首先引入所需模块

from pyspark.conf import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql.functions import udf, pandas_udf, PandasUDFType

conf=SparkConf()
conf.setAppName('my-app')
conf.set('spark.executor.memory', '4g')
conf.set("spark.driver.memory","2g")
conf.set('spark.debug.maxToStringFields', '500')

spark = SparkSession.builder. \
        config(conf=conf).\