pyspark学习：GroupedData 对象

对应课件3.4

apply(udf)

      该方法使用pandas中的用户自定义函数作用在GroupedData的每一组数据之上，返回结果作为一个DataFrame。udf用户自定义函数接收pandas.DataFrame作为参数，返回另外一个pandas.DataFrame对象。这个方法是pyspark2.3中加入的新方法。

     其通过@pandas_udf表示这是一个pandas的方法，参数为id long,v double,指定PandasUDFType为分组map操作。

from pyspark.sql.functions import pandas_udf, PandasUDFType
from pyspark.sql import SparkSession
spark = SparkSession.builder.master('spark://hadoop101:7077').appName('apply').getOrCreate()
df = spark.createDataFrame( [(1, 10.0), (1, 21.0), (2, 34.0), (2, 56.0), (2, 19.0)], ("id", "v"))
@pandas_udf("id long, v double", PandasUDFType.GROUPED_MAP) 
def normalize(pdf):
    v = pdf.v
    print(type(v),type(pdf))
    return pdf.assign(v=(v - v.mean()) / v.std())
df.groupby("id").apply(normalize).show() 
spark.stop()