pyspark dataframe的自定义函数处理 udf方法及空值异常

使用udf方法对dataframe的列使用自定义函数

from pyspark.sql.types import StringType
from pyspark.sql.types import DoubleType
from pyspark.sql.functions import udf

def avg_score(score, people):
	try:
		if int(people) != 0:
			return int(score) / int(people)
		else:
			return 0
	except:
		return 0
func = udf(avg_score, Doubletype())
#  此处省略df的获取步骤
df = df.select("id", "total_score", "total_people")
df = df.withColumn("avg_score",func(df.total_score, df.total_people))

此时，我们通过自定义函数avg_score就可以根据两个表项得到我们需要的数据，再通过df.drop(“total_score”).drop(“total_people”) 丢弃不需要再使用的两项，或者通过df.select(“id”, “avg_score”)选取我们需要的两项去进行存表操作等。

空值异常情况，表中null，none等数据未进入自定义函数处理。

由于 udf返回类型是DoubleType类型时，为null和none的数据行不会被传入自定义函数执行，所以看起来出现了错误。

解决办法：可先使用返回类型为StringType的自定义函数，在函数中加入对null的处理（返回0），再使用DoubleType类型的自定义函数将值转为DoubleType