【Hive七】Hive用户自定义聚合函数(UDAF)

用户自定义聚合函数,用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。

问题:UDF也可以提供输入多个参数然后输出一个结果的运算,比如加法运算add(3,5),add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么?

 

Java代码   收藏代码
  1. Double evaluate(Double a, Double b)  

 

1.什么是UDAF

UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF。比如: Hive查询数据时,有些聚类函数在HQL没有自带,需要用户自定义实现; 用户自定义聚合函数: Sum, Average

 

2.实现UFAF的步骤

  • 引入如下两下类

 

Java代码   收藏代码
  1. import org.apache.hadoop.hive.ql.exec.UDAF  
  2. import org.apache.hadoop.hive.ql.exec.UDAFEvaluator  

 

  • 函数类需要继承UDAF类,计算类Evaluator实现UDAFEvaluator接口
  • Evaluator需要实现UDAFEvaluator的init、iterate、terminatePartial、merge、terminate这几个函数。

       a)init函数实现接口UDAFEvaluator的init函数。
       b)iterate接收传入的参数,并进行内部的迭代。其返回类型为boolean。
       c)terminatePartial无参数,其为iterate函数遍历结束后,返回遍历得到的数据,terminatePartial类似于 hadoop的Combiner。
       d)merge接收terminatePartial的返回结果,进行数据merge操作,其返回类型为boolean。
       e)terminate返回最终的聚集函数结果。

 

3.实例

计算平均数

 

Java代码   收藏代码
  1. package hive.udaf;  
  2.   
  3. import org.apache.hadoop.hive.ql.exec.UDAF;  
  4. import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;  
  5.   
  6. public class Avg extends UDAF {  
  7.     public static class AvgState {  
  8.         private long mCount;  
  9.         private double mSum;  
  10.   
  11.     }  
  12.   
  13.     public static class AvgEvaluator implements UDAFEvaluator {  
  14.         AvgState state;  
  15.   
  16.         public AvgEvaluator() {  
  17.             super();  
  18.             state = new AvgState();  
  19.             init();  
  20.         }  
  21.   
  22.         /** 
  23.          * init函数类似于构造函数,用于UDAF的初始化 
  24.          */  
  25.         public void init() {  
  26.             state.mSum = 0;  
  27.             state.mCount = 0;  
  28.         }  
  29.   
  30.         /** 
  31.          * iterate接收传入的参数,并进行内部的轮转。其返回类型为boolean * * @param o * @return 
  32.          */  
  33.   
  34.         public boolean iterate(Double o) {  
  35.             if (o != null) {  
  36.                 state.mSum += o;  
  37.                 state.mCount++;  
  38.             }  
  39.             return true;  
  40.         }  
  41.   
  42.         /** 
  43.          * terminatePartial无参数,其为iterate函数遍历结束后,返回轮转数据, * terminatePartial类似于hadoop的Combiner * * @return 
  44.          */  
  45.   
  46.         public AvgState terminatePartial() {  
  47.             // combiner  
  48.             return state.mCount == 0 ? null : state;  
  49.         }  
  50.   
  51.         /** 
  52.          * merge接收terminatePartial的返回结果,进行数据merge操作,其返回类型为boolean * * @param o * @return 
  53.          */  
  54.   
  55.         public boolean merge(AvgState avgState) {  
  56.             if (avgState != null) {  
  57.                 state.mCount += avgState.mCount;  
  58.                 state.mSum += avgState.mSum;  
  59.             }  
  60.             return true;  
  61.         }  
  62.   
  63.         /** 
  64.          * terminate返回最终的聚集函数结果 * * @return 
  65.          */  
  66.         public Double terminate() {  
  67.             return state.mCount == 0 ? null : Double.valueOf(state.mSum / state.mCount);  
  68.         }  
  69.     }  
  70. }  
 

 

4. Hive中使用UDAF

  • 将java文件编译成udaf_avg.jar
  • 进入hive客户端添加jar包
Java代码   收藏代码
  1. hive>add jar /home/hadoop/udaf_avg.jar  

 

  • 创建临时函数
Java代码   收藏代码
  1. hive>create temporary function udaf_avg 'hive.udaf.Avg'  

 

  • 查询语句
Java代码   收藏代码
  1. hive>select udaf_avg(people.age) from people  

 

  • 销毁临时函数
Java代码   收藏代码
  1. hive>drop temporary function udaf_avg  
 

 

5. 总结

通过上面的介绍,可以看到UDAF的用法与UDF的区别了,UDF虽然可以接收多个入参,但是参数个数是固定的(其实也可以不固定,只要evaluate方法的参数类型是变长参数即可,但是一般不这么用),而UDAF的入参是元素个数不固定的集合,这个集合只要可遍历(使用Evaluator的iterate方法遍历)即可,上面的入参是people表的所有age列。

 

UDF是对只有单条记录的列进行的计算操作,而UDFA则是用户自定义的聚类函数,是基于表的所有记录进行的计算操作。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值