Databricks：分组统计和窗口

在分析数据时，通常需要对数据进行分组，并对每个组进行聚合。从某种意义上说，窗口也是一种分组统计的方法。

分类资料
DataFrame.groupBy()返回GroupedData类，该类可以对分组数据应用聚合函数、apply()函数和pivot()函数。

常用的聚合函数有:

Count():统计数量
平均值(*列)，平均值(*列):计算平均值
最大值(*列)，最小值(*列):计算最大值和最小值
总和(*列):计算累计总和
例如，计算数据框最大年龄和高度列的值:

df.groupBy()。最大值(‘年龄’，‘身高’)。收集()
首先，聚合函数
对于聚合函数，您也可以使用Pandas 中的函数，这需要使用GroupedData类的agg(*exprs)函数，该函数用于计算聚合值并返回一个DataFrame对象。

agg()函数中可以使用的聚合函数主要分为两类:

内置聚合函数:平均值、最大值、最小值、总和、计数
群体聚合的Pandas UDF
对于内置聚合函数，您可以通过pyspark.sql.functions导入它们:

gdf = df.groupBy(df.name)
从pyspark.sql导入函数作为F
已排序(gdf.agg(F.min(df.age))。collect())
#[行(名字= ‘爱丽丝’，敏(年龄)=2)，行(名字= ‘鲍勃’，敏(年龄)=5)]
本文主要研究如何创建一个Pandas UDF，它使用箭头通过火花来传输数据，并通过Pandas 来矢量化数据。Pandas UDF需要在创建Pandas UDF时用作修改器或包装函数。

pyspark.sql.functions .Pandas _udf(f=None，returnType=None，functionType=None)
参数注释:

外宾:UDF
返回类型:UDF的返回值类型
FunctionType:一个枚举值，其枚举类型为py spark . SQL . functions . pandasudfTYPe，默认值为scalar，返回SCALAR值。
例如，创建一个UDF来计算字符数。

修饰符中定义的函数的返回值类型是int，参数的模式是接收一个序列，返回一个序列。序列中元素的数据类型由修饰符决定。

import pandas as pd
from pyspark.sql.functions import pandas_udf

@pandas_udf(IntegerType())
def slen(s: pd.Series) -> pd.Series:
return s.str.len()

定义函数时，明确指定输入参数的类型为MyType，函数返回值的类型为str:

输入参数类型提示为MyType，函数返回类型提示为str

def foo(name: MyType) -> str:
return str(name)

二，用户自定义的pandas函数
pyspark共支持5种UDF的模式，分别表示从形参到返回值的模式

模式1：从DataFrame到DataFrame

@pandas_udf(“col1 string, col2 long”)
def func(s1: pd.Series, s2: pd.Series, s3: pd.DataFrame) -> pd.DataFrame:
s3[‘col2’] = s1 + s2.str.len()
return s3
模式2：从Series到Series

@pandas_udf(“string”)
def to_upper(s: pd.Series) -> pd.Series:
return s.str.upper()
模式3：从Series到Scalar，这种模式就是聚合函数，把多个值按照公式转换为标量值。

@pandas_udf(“double”)
def mean_udf(v: pd.Series) -> float:
return v.mean()
模式4：Iterator[pandas.Series] -> Iterator[pandas.Series]

复制代码
from typing import Iterator
@pandas_udf(“long”)
def plus_one(iterator: Iterator[pd.Series]) -> Iterator[pd.Series]:
for s in iterator:
yield s + 1

df = spark.createDataFrame(pd.DataFrame([1, 2, 3], columns=[“v”]))
df.select(plus_one(df.v)).show()
±----------+
|plus_one(v)|
±----------+
| 2|
| 3|
| 4|
±----------+