pyspark中udf写法及其使用

背景

udf是处理dataframe比较常见且便捷的功能模块，用户自定的处理功能封装在udf中，使得dateframe的处理变得通俗可控。

udf的两种书写方式

第一种——udf不需要参数

这里的不需要参数，是指udf不需要传入公共的参数（这个里的公共是对udf中多个参数模块而言的）,且该参数非dataframe中的字段。

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType, ArrayType
# 定义基础模块
def proc_func(param_val1, param_val2):
	ret = '{}\t{}'.format(param_val1, param_val2)
	return ret
# 定义udf
def