hive-UDTF开发

@TOChive udtfUDTF(User-Defined Table-Generating Functions)。一进多出,可以对一行数据转成多行UDTF需要继承的类1)org.apache.hadoop.hive.ql.udf.generic.GenericUDTFUDTF需要实现的方法1)abstract StructObjectInspector initialize(Obje...
摘要由CSDN通过智能技术生成

@TOChive udtf
UDTF(User-Defined Table-Generating Functions)。一进多出,可以对一行数据转成多行
对于hive自带的udtf,我们经常使用的是explode函数,可以将一行拆成多行输出。
UDTF需要继承的类
1)org.apache.hadoop.hive.ql.udf.generic.GenericUDTF
UDTF需要实现的方法
1)abstract StructObjectInspector initialize(ObjectInspector[] args) throws UDFArgumentException;
初始化方法,指定输入输出参数。此方法返回UDTF的返回行的信息(返回个数,类型)
2)abstract void process(Object[] record) throws HiveException;
UDTF真正的处理过程在这个方法里面。每一次forward()调用产生一行;如果产生多列可以将多个列的值放在一个数组中,然后将该数组传入到forward()函数
3)abstract void close() throws HiveException;
结束的方法。可以在该方法中清理代码或者附加其他处理输出


例1:分割字符串,转成多行。

 package com.udf;
 import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
 import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
 import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
 import org.apache.hadoop.hive.ql.metadata.HiveException;
 import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
 import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
 import org
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值