Hive用户自定义聚合函数(UDAF)

用户自定义聚合函数，用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。

问题：UDF也可以提供输入多个参数然后输出一个结果的运算，比如加法运算add(3，5)，add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么？

 

Java代码  

1. Double evaluate(Double a, Double b)  

 

1.什么是UDAF

UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF。比如： Hive查询数据时，有些聚类函数在HQL没有自带，需要用户自定义实现； 用户自定义聚合函数: Sum, Average

 

2.实现UFAF的步骤

• 引入如下两下类

 

Java代码  

1. import org.apache.hadoop.hive.ql.exec.UDAF  
2. import org.apache.hadoop.hive.ql.exec.UDAFEvaluator  

 

• 函数类需要继承UDAF类，计算类Evaluator实现UDAFEvaluator接口
• Evaluator需要实现UDAFEvaluator的init、iterate、terminatePartial、merge、terminate这几个函数。

       a）init函数实现接口UDAFEvaluator的init函数。
       b）iterate接收传入的参数，并进行内部的迭代。其返回类型为boolean。
       c）terminatePartial无参数，其为iterate函数遍历结束后，返回遍历得到的数据，terminatePartial类似于 hadoop的Combiner。
       d）merge接收terminatePartial的返回结果，进行数据merge操作，其返回类型为boolean。
       e）terminate返回最终的聚集函数结果。

 

3.实例

计算平均数

 

Java代码  

1. package hive.udaf;  
2.   
3. import org.apache.hadoop.hive.ql.exec.UDAF;  
4. import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;  
5.   
6. public class Avg extends UDAF {  
7.     public static class AvgState {  
8.         private long mCount;  
9.         private double mSum;  
10.   
11.     }  
12.   
13.     public static class AvgEvaluator implements UDAFEvaluator {  
14.         AvgState state;  
15.   
16.         public AvgEvaluator() {  
17.             super();  
18.             state = new AvgState();  
19.             init();  
20.         }  
21.   
22.         /** 
23.          * init函数类似于构造函数，用于UDAF的初始化 
24.          */  
25.         public void init() {  
26.             state.mSum = 0;  
27.             state.mCount = 0;  
28.         }  
29.   
30.         /** 
31.          * iterate接收传入的参数，并进行内部的轮转。其返回类型为boolean * * @param o * @return 
32.          */  
33.   
34.         public boolean iterate(Double o) {  
35.             if (o != null) {  
36.                 state.mSum += o;  
37.                 state.mCount++;  
38.             }  
39.             return true;  
40.         }  
41.   
42.         /** 
43.          * terminatePartial无参数，其为iterate函数遍历结束后，返回轮转数据， * terminatePartial类似于hadoop的Combiner * * @return 
44.          */  
45.   
46.         public AvgState terminatePartial() {  
47.             // combiner  
48.             return state.mCount == 0 ? null : state;  
49.         }  
50.   
51.         /** 
52.          * merge接收terminatePartial的返回结果，进行数据merge操作，其返回类型为boolean * * @param o * @return 
53.          */  
54.   
55.         public boolean merge(AvgState avgState) {  
56.             if (avgState != null) {  
57.                 state.mCount += avgState.mCount;  
58.                 state.mSum += avgState.mSum;  
59.             }  
60.             return true;  
61.         }  
62.   
63.         /** 
64.          * terminate返回最终的聚集函数结果 * * @return 
65.          */  
66.         public Double terminate() {  
67.             return state.mCount == 0 ? null : Double.valueOf(state.mSum / state.mCount);  
68.         }  
69.     }  
70. }  

 

 

4. Hive中使用UDAF

• 将java文件编译成udaf_avg.jar
• 进入hive客户端添加jar包

Java代码  

1. hive>add jar /home/hadoop/udaf_avg.jar  

 

• 创建临时函数

Java代码  

1. hive>create temporary function udaf_avg 'hive.udaf.Avg'  

 

• 查询语句

Java代码  

1. hive>select udaf_avg(people.age) from people  

 

• 销毁临时函数

Java代码  

1. hive>drop temporary function udaf_avg  

 

 

5. 总结

通过上面的介绍，可以看到UDAF的用法与UDF的区别了，UDF虽然可以接收多个入参，但是参数个数是固定的(其实也可以不固定，只要evaluate方法的参数类型是变长参数即可，但是一般不这么用)，而UDAF的入参是元素个数不固定的集合，这个集合只要可遍历(使用Evaluator的iterate方法遍历)即可，上面的入参是people表的所有age列。

 

UDF是对只有单条记录的列进行的计算操作，而UDFA则是用户自定义的聚类函数，是基于表的所有记录进行的计算操作。