hive自定义函数udf、udaf、udtf

一，自定义UDF

1,编程步骤：

（1）继承org.apache.hadoop.hive.ql.exec.UDF
（2）需要实现evaluate函数；evaluate函数支持重载；

2,注意事项:

（1）UDF必须要有返回类型，可以返回null，但是返回类型不能为void；
（2）UDF中常用Text/LongWritable等类型，不推荐使用java类型；

3,代码编写

第一步：创建maven java 工程，导入jar包

<dependencies>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>2.1.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.5</version>
    </dependency>
</dependencies>

第二步：开发java类继承UDF，并重载evaluate 方法

public class MyUDF  extends UDF{
    public Text evaluate(final Text s) {
        if (null == s) {
            return null;
        }
        //返回大写字母
        return new Text(s.toString().toLowerCase());
    }
}

4.函数使用方式1-临时函数

4.1、将我们的项目打包，并上传到hive的lib目录下

4.2、添加我们的jar包
将jar包上传到 /software/hive/lib目录，并重命名我们的jar包名称

cd  /software/hive/lib
mv hive_udf-1.0-SNAPSHOT.jar mylower.jar

4.3、hive的客户端添加我们的jar包

hive>add jar /software/hive/libmylower.jar

4.4、设置函数与我们的自定义函数关联-临时函数

hive>create temporary function my_lower as 'udf.MyUdf';

4.5、使用自定义函数

hive>select my_lower('abc');

5.函数使用方式2-永久函数

5.1. 把自定义函数的jar上传到hdfs中.

hadoop fs -mkdir /hivefunc
hadoop fs -put mylower.jar /hivefunc  

5.2. 创建永久函数

hive>  create function my_lower2 as 'udf.MyUDF' using jar 'hdfs://node1:8020/hive_func/mylower.jar';

5.3. 验证

hive> select my_lower2("Hello World");

二，自定义UDTF

1.需求

自定义一个UDTF，实现将一个任意分隔符的字符串切割成独立的单词,例如:

源数据：
"zookeeper,hadoop,hdfs,hive,MapReduce"
目标数据:
zookeeper
hadoop
hdfs
hive
MapReduce

2.代码实现

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;
import java.util.List;
import java.util.function.ObjDoubleConsumer;

public class MyUdtf extends GenericUDTF {
    private final transient Object[] forwardListObj = new Object[1];

    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        //设置列名的类型
        List<String> fieldNames = new ArrayList<>();
        //设置列名
        fieldNames.add("column_01");
        List<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>()  ;//检查器列表

        //设置输出的列的值类型
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
         
        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);

    }

    // select myudtf("zookeeper,hadoop,hdfs,hive,MapReduce",",") word;
    // ("zookeeper,hadoop,hdfs,hive,MapReduce",",") 通过Object[] objects传入函数
    @Override
    public void process(Object[] objects) throws HiveException {
        //1:获取原始数据
        String args = objects[0].toString();
        //2:获取数据传入的第二个参数，此处为分隔符
        String splitKey = objects[1].toString();
        //3.将原始数据按照传入的分隔符进行切分
        String[] fields = args.split(splitKey);
        //4:遍历切分后的结果，并写出
        for (String field : fields) {
            //将每一个单词添加值对象数组
            forwardListObj[0] = field;
            //将对象数组内容写出
            forward(forwardListObj);
        }

    }

    @Override
    public void close() throws HiveException {

    }
}

3.添加我们的jar包

将打包的jar包上传到node3主机/software/hive-2.1.0/lib目录,并重命名我们的jar包名称

cd /software/hive-2.1.0/lib
mv udtf-1.0-SNAPSHOT.jar myudtf.jar

hive的客户端添加我们的jar包,将jar包添加到hive的classpath下

hive> add jar /software/hive-2.1.0/lib/myudtf.jar;

4.创建临时函数与开发后的udtf代码关联

hive>create temporary function my_udtf as udtf.MyUdtf';

5.使用自定义udtf函数

hive>select myudtf("zookeeper,hadoop,hdfs,hive,MapReduce",",") ;

6，创建永久函数

create function explode_json_array2 as 'com.hive.JsonExplodeArray' using jar 'hdfs://node1:8080/warehouse/gmall/userfunctions/hive_udtf.jar';

遇到的问题：

测试过程中，如果发现自定义函数有bug，修改bug后重新上传jar包，要重新启动hive command或者hiveserver2，因为对应的类之前已经被加载到内存中了，如果不重启，不会重新加载类，重写的代码无效。