Hive UDAF 开发

 
Hive进行UDAF开发,相对要比UDF复杂一些,不过也不是很难。
请看一个例子
package org.hrj.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
import org.apache.hadoop.hive.serde2.io.DoubleWritable;



public class UDAFSum_Sample extends NumericUDAF {
         public static class Evaluator implements UDAFEvaluator {
                 private boolean mEmpty;
                 private double mSum;
                 public Evaluator() {
                         super();
                        init();
                }

                 public void init() {
                        mSum = 0;
                        mEmpty = true;
                }

                 public boolean iterate(DoubleWritable o) {
                         if (o != null) {
                                mSum += o.get();
                                mEmpty = false;
                        }
                         return true;
                }

                 public DoubleWritable terminatePartial() {
                         // This is SQL standard - sum of zero items should be null.
                         return mEmpty ? null : new DoubleWritable(mSum);
                }

                 public boolean merge(DoubleWritable o) {
                         if (o != null) {
                                mSum += o.get();
                                mEmpty = false;
                        }
                         return true;
                }

                 public DoubleWritable terminate() {
                         // This is SQL standard - sum of zero items should be null.
                         return mEmpty ? null : new DoubleWritable(mSum);
                }
        }
}



  1. 将java文件编译成Sum_Sample.jar
  2. 进入hive
hive> add jar Sum_sample.jar;

hive> create temporary function sum_test as 'com.hrj.hive.udf.UDAFSum_Sample';

hive> select sum_test(t.num) from t;

hive> drop temporary function sum_test;

hive> quit;


关于UDAF开发注意点:
  1. 需要import org.apache.hadoop.hive.ql.exec.UDAF以及org.apache.hadoop.hive.ql.exec.UDAFEvaluator,这两个包都是必须的
  2. 函数类需要继承UDAF类,内部类Evaluator实现UDAFEvaluator接口
  3. Evaluator需要实现 init、iterate、terminatePartial、merge、terminate这几个函数
    1. init函数类似于构造函数,用于UDAF的初始化
    2. iterate接收传入的参数,并进行内部的轮转。其返回类型为boolean
    3. terminatePartial无参数,其为iterate函数轮转结束后,返回乱转数据,iterate和terminatePartial类似于hadoop的Combiner
    4. merge接收terminatePartial的返回结果,进行数据merge操作,其返回类型为boolean
    5. terminate返回最终的聚集函数结果
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值