Spark Sql之UDAF自定义聚合函数

一：UDAF含义

UDAF：User Defined Aggregate Function。用户自定义聚合函数

对比UDF：
UDF，其实更多的是针对单行输入，返回一个输出
UDAF，则可以针对多行输入，进行聚合计算，返回一个输出

二：关于UDAF的一个误区

我们可能下意识的认为UDAF是需要和group by一起使用的，实际上UDAF可以跟group by一起使用，也可以不跟group by一起使用，这个其实比较好理解，联想到mysql中的max、min等函数，可以:

1

select max(foo) from foobar group by bar;

表示根据bar字段分组，然后求每个分组的最大值，这时候的分组有很多个，使用这个函数对每个分组进行处理，也可以：

1

select max(foo) from foobar;

这种情况可以将整张表看做是一个分组，然后在这个分组（实际上就是一整张表）中求最大值。所以聚合函数实际上是对分组做处理，而不关心分组中记录的具体数量。

 
三：UDAF中：update,merge,evaluate方法的含义

update：各个分组的值内部聚合
merge：各个节点的同一分组的值聚合
evaluate：聚合各个分组的缓存值

四：自定义UDAF实战

定义：