【Hive】创建自定义的UDTF函数

导入依赖

• 只需要倒入一个依赖即可

    <dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>3.1.2</version>
        </dependency>
    </dependencies>

代码部分

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;
import java.util.List;

/**
 * 一进多出
 * 输入数据：a,b,c,d
 * 输出数据:a
 * b
 * c
 * d
 */
public class UDTFTest01 extends GenericUDTF {
    //输出数据的集合
    private ArrayList<String> list = new ArrayList<>();

    //初始化方法
    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        //输出数据的默认列名，可以被别名覆盖
        List<String> names = new ArrayList<>();
        names.add("word");
        //输出数据的类型
        List<ObjectInspector> fieldOIs = new ArrayList<>();
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        StructObjectInspector outputOI = ObjectInspectorFactory.getStandardStructObjectInspector(names, fieldOIs);
        return outputOI;
    }

    //处理输入数据的方法
    @Override
    public void process(Object[] objects) throws HiveException {
        //提取输出数据
        String input = objects[0].toString();
        String string = objects[1].toString();
        //分割
        String[] word = input.split(string);
        //遍历数组
        for (int i = 0; i < word.length; i++) {
            //清空集合
            list.clear();
            //将数据存入集合
            list.add(word[i]);
            //输出集合
            forward(list);
        }
    }

    //收尾方法
    @Override
    public void close() throws HiveException {

    }
}

创建函数

1. 将jar包传入集群
2. 打开hive并且导入jar包（如果将jar包直接放入hive的lib目录的话，这一步可忽略）add jar jar_path
3. 在hive中创建函数create function function_name as 'class_path'function_name是为你自定义的函数取名，class_path是class文件的路径
4. 如果不想使用可以删除函数drop function function_name