pyspark 并行调用udf函数

背景：在 pyspark中udf写法及其使用中我们使用pyspark定义好的udf逐条处理数据（dataframe）。这篇文章提供一种“并行”调用udf的方法。

from pyspark.sql import Row
from pyspark.sql.types import StringType, StructField, StructType

# udf定义
def proc_func(row):
	row_dict = row.asDict(True)  # 将rdd转化成字典格式
	col_1 = row_dict['col_1']
	new_col = 'proc_{}'.format(col_1)
	row_dict['new_col'] = new_col
	return Row(**row_dict)

# 定义输出字段
output_struct = StructType([
	StructField('col_1', StringType()),
	StructField('new_col', StringType())
]) 

# 调用udf
your_df = your_df.rdd.map(proc_func)  # 需要将DataFrame转为rdd

# 将处理结果再解析为Dataframe
your_df = spark.createDataFrame(your_df.map(
		lambda row: Row(
				row.col_1,
				row.new_col
			)
		), output_struct
	)

其他补充，以下是几个常见的类型

from pyspark.sql.types import IntegerType, StringType, ArrayType

# int型
IntegerType()

# list型
ArrayType(IntegerType())  # int list
ArrayType(StringType())  # string list

使用这种方式，会大大减少数据计算时间。