UDTF实例讲解

最新推荐文章于 2024-06-27 17:03:37 发布

生命不息丶折腾不止

最新推荐文章于 2024-06-27 17:03:37 发布

阅读量2.2k

点赞数 1

分类专栏： hive 文章标签： UDTF hive

本文链接：https://blog.csdn.net/leen0304/article/details/77931681

版权

本文介绍了UDTF（User-Defined Table-Generating Functions），用于处理输入一行输出多行的需求。详细讲述了UDTF的编写步骤，包括继承GenericUDTF并实现initialize、process、close方法。此外，还提供了UDTF的两种使用方式，直接在select后使用或配合lateral view。

摘要由CSDN通过智能技术生成

UDTF介绍

UDTF(User-Defined Table-Generating Functions) 用来解决输入一行输出多行(On-to-many maping) 的需求。

编写UDTF步骤

继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,实现initialize, process, close三个方法。

UDTF首先会调用initialize方法，此方法返回UDTF的返回行的信息（返回个数，类型）。
初始化完成后，会调用process方法,真正的处理过程在process函数中，在process中，每一次forward()调用产生一行；如果产生多列可以将多个列的值放在一个数组中，然后将该数组传入到forward()函数。
最后close()方法调用，对需要清理的方法进行清理。

注：在hive-0.13.0之后，initialize方法已经弃用

UDTF代码实现实例

package UDTF;

import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive