spark dataset/dataframe经常会用到聚合函数进行指标的聚合计算,本文详细讲解了聚合函数,聚合算子,方便使用者清晰的认识如何进行聚合操作。
聚合函数
org.apache.spark.sql.functions._
所有的聚合函数都可以通过两种方式调用,以Column为参数或者以columnName为参数,例如avg(Column e)和avg(String columnName) 达到同样的效果,sparksql提供的聚合函数如下:
- 均值: avg
- 多行变一行: collect_list/collect_set
- 数目: count , countDistinct(x,x,x,…)可以多个参数
- 第一个,最后一个: first/last(column, ignorNulls)第二个参数是否忽略null值
- 最大、最小、均值、标准差、求和: max, min, mean, stdev, sum
groupby
groupBy()可以带多个列名,对多个列进行group:
groupBy('xx')
groupBy(Column("xx")