Spark数据处理实战之聚合

spark dataset/dataframe经常会用到聚合函数进行指标的聚合计算，本文详细讲解了聚合函数，聚合算子，方便使用者清晰的认识如何进行聚合操作。

聚合函数

org.apache.spark.sql.functions._    

所有的聚合函数都可以通过两种方式调用，以Column为参数或者以columnName为参数，例如avg(Column e)和avg(String columnName) 达到同样的效果，sparksql提供的聚合函数如下:

1. 均值: avg
2. 多行变一行: collect_list/collect_set
3. 数目: count , countDistinct(x,x,x，…)可以多个参数
4. 第一个，最后一个: first/last(column, ignorNulls)第二个参数是否忽略null值
5. 最大、最小、均值、标准差、求和: max, min, mean, stdev, sum

groupby

groupBy()可以带多个列名，对多个列进行group:

groupBy('xx')
groupBy(Column("xx"))

agg

1、 agg(expers:column*) 返回dataframe类型，可以设置聚合后列的名字

df.groupBy("uid").agg(max("age").alias("age_max"), avg("salary").alias("salary_avg"))
    // => schema: age_max , salary_avg
df.groupBy().agg(max("age"), avg("salary"))

2、 agg(exprs: Map[String, String]) 返回dataframe类型 / agg(exprs: java.util.Map[String, String]): DataFrame

// age, salary
df.agg(Map("age" -> "max", "salary" -> "avg"))  // => schema: max(age) , max(salary)
df.groupBy().agg(Map("age" -> "max", "salary" -> "avg"))

3、 agg(aggExpr: (String, String), aggExprs: (String, String)*) 返回dataframe类型

ds.agg("age" -> "max", "salary" -> "avg")
df.groupBy().agg(Map("age" -> "max", "salary" -> "avg"))

参考

1. https://blog.csdn.net/zhuiqiuuuu/article/details/72821194