对应课件3.4
apply(udf)
该方法使用pandas中的用户自定义函数作用在GroupedData的每一组数据之上,返回结果作为一个DataFrame。udf用户自定义函数接收pandas.DataFrame作为参数,返回另外一个pandas.DataFrame对象。这个方法是pyspark2.3中加入的新方法。
其通过@pandas_udf表示这是一个pandas的方法,参数为id long,v double,指定PandasUDFType为分组map操作。
from pyspark.sql.functions import pandas_udf, PandasUDFType
from pyspark.sql import SparkSession
spark = SparkSession.builder.master('spark://hadoop101:7077').appName('apply').getOrCreate()
df = spark.createDataFrame( [(1, 10.0), (1, 21.0), (2, 34.0), (2, 56.0), (2, 19.0)], ("id", "v"))
@pandas_udf("id long, v double", PandasUDFType.GROUPED_MAP)
def normalize(pdf):
v = pdf.v
print(type(v),type(pdf))
return pdf.assign(v=(v - v.mean()) / v.std())
df.groupby("id").apply(normalize).show()
spark.stop()