背景
udf是处理dataframe比较常见且便捷的功能模块,用户自定的处理功能封装在udf中,使得dateframe的处理变得通俗可控。
udf的两种书写方式
第一种——udf不需要参数
这里的不需要参数,是指udf不需要传入公共的参数(这个里的公共是对udf中多个参数模块而言的),且该参数非dataframe中的字段。
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType, ArrayType
# 定义基础模块
def proc_func(param_val1, param_val2):
ret = '{}\t{}'.format(param_val1, param_val2)
return ret
# 定义udf
def