自定义UDTF

最新推荐文章于 2023-05-23 15:29:55 发布

自在独行-

最新推荐文章于 2023-05-23 15:29:55 发布

阅读量266

点赞数

分类专栏：大数据学习文章标签：自定义UDTF

本文链接：https://blog.csdn.net/C_CXY2333/article/details/101099999

版权

大数据学习专栏收录该内容

16 篇文章 1 订阅

订阅专栏

自定义UDFT函数 (一进多出)

实现方法

1、继承GenericUDTF
2、实现：
	initizliza() ：调一次
 	process ():一行数据，调一次
    close()：调一次

过程

package udtf;
//udtf.MyUDTF
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;
import java.util.List;




//
public class MyUDTF extends GenericUDTF {
    private List<String> dataList = new ArrayList<String>();

    // 定义输出数据的列名和数据类型
    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        //定义输出数据的列名
        List<String> fieldNames = new ArrayList<String>();
        fieldNames.add("word");
        //定义输出数据的类型 函数的放回值
        List<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>() ;
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);
    }

    /**
     * Give a set of arguments for the UDTF to process.
     *
     * @param args object array of arguments
     */
    public void process(Object[] args) throws HiveException {
        //1、获取数据
        String data = args[0].toString();
        //2、获取分隔符
        String splitKey=args[1].toString();
        //3、切分数据
        String[] words = data.split(splitKey);
        //4、遍历写出
        for (String word : words) {
            //5、将数据放置集合
            dataList.clear();
            dataList.add(word);
            //6、写出数据
            forward(dataList);
        }
    }

    /**
     * Called to notify the UDTF that there are no more rows to process.
     * Clean up code or additional forward() calls can be made here.
     */
    public void close() throws HiveException {

    }
}