hive udf&udaf开发

前言

由于之前对hadoop,hive源码了解不多,因此在进行udf和udaf开发时,遇到诸多问题,还是要有时间多看看源码。

UDF

进行UDF开发主要分为两种情况,根据UDF输入参数的类型进行区分。

调用UDF时传参是基本数据类型

若是hive调用UDF时传入的是基本数据类型如string,integer可以通过直接继承org.apache.hadoop.hive.ql.exec.UDF来进行开发。并且hadoop和java的数据类型之间不用进行转换处理(这在我们进行通用udf开发的时候要注意)。主要步骤:
1)继承org.apache.hadoop.hive.ql.exec.UDF
2)实现evaluate方法,此方法可进行重载
如下例子:

import org.apache.hadoop.hive.ql.exec.UDF;
public class Add extends UDF {
public Integer evaluate(Integer a, Integer b) {
               if (null == a || null == b) {
                               return null;
               } return a + b;
}
public Double evaluate(Double a, Double b) {
               if (a == null || b == null)
                               return null;
                               return a + b;
               }
}

调用UDF时传参是复杂类型

若是hive调用UDF时传入的是是复杂类型,如map,list等内嵌数据结构时,使用简单udf的开发方式是不行的,我们可以通过实现org.apache.hadoop.hive.ql.udf.generic.GenericUDF来写出通用的udf。
主要步骤:
1)实现org.apache.hadoop.hive.ql.udf.generic.GenericUDF
2) 重写initialize方法,此方法主要用来检测输入参数,并得到输入参数的Inspector,用来在evaluate方法解析参数(暂时这么理解)
3)重写evaluate方法,这是开发udf的主要逻辑部分
4)重写getDisplayString方法,此方法主要用来描述此udf。出错时会显示
以下是之前实现过对输入map类型进行处理的udf

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.MapObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.IntObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.apache.hadoop.io.Text;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;


public class UDFmapValueScale extends GenericUDF{


    private MapObjectInspector map;
    private IntObjectInspector flag;
    @Override
    public ObjectInspector initializ
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值