hive 自定义UDF函数

自定义UDF函数

0）需求:

自定义一个UDF实现计算给定基本数据类型的长度，例如：

hive(default)> select my_len("abcd");

4

1）创建一个Maven工程Hive

2）导入依赖

<dependencies>

<dependency>

<groupId>org.apache.hive</groupId>

<artifactId>hive-exec</artifactId>

<version>3.1.2</version>

</dependency>

</dependencies>

3）创建一个类

package com.Raise.hive.udf;

 

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;

import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;

import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;

import org.apache.hadoop.hive.ql.metadata.HiveException;

import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;

import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;

import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

 

/**

 * 我们需计算一个要给定基本数据类型的长度

 */

public class MyUDF extends GenericUDF {

    /**

     * 判断传进来的参数的类型和长度

     * 约定返回的数据类型

     * @param arguments

     * @return

     * @throws UDFArgumentException

     */

    @Override

    public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {

        if (arguments.length !=1) {

            throw  new UDFArgumentLengthException("please give me  only one arg");

        }

        if (!arguments[0].getCategory().equals(ObjectInspector.Category.PRIMITIVE)){

            throw  new UDFArgumentTypeException(1, "i need primitive type arg");

        }

        return PrimitiveObjectInspectorFactory.javaIntObjectInspector;

    }

 

    /**

     * 解决具体逻辑的

     * @param arguments

     * @return

     * @throws HiveException

     */

    @Override

    public Object evaluate(DeferredObject[] arguments) throws HiveException {

        Object o = arguments[0].get();

        if(o==null){

            return 0;

        }

        return o.toString().length();

    }

 

    @Override

    // 用于获取解释的字符串

    public String getDisplayString(String[] children) {

        return "";

    }

}

4）创建临时函数

（1）打成jar包上传到服务器/opt/module/hive/datas/myudf.jar

（2）将jar包添加到hive的classpath，临时生效

hive (default)> add jar /opt/module/hive/datas/myudf.jar;

（3）创建临时函数与开发好的java class关联

hive (default)> create temporary function my_len as "com.Raise.hive.udf.MyUDF";

（4）即可在hql中使用自定义的临时函数

hive (default)> select ename,my_len(ename) ename_len from emp;

（5）删除临时函数

hive (default)> drop  temporary function my_len;

注意：临时函数只跟会话有关系，跟库没有关系。只要创建临时函数的会话不断，在当前会话下，任意一个库都可以使用，其他会话全都不能使用。

1. 创建永久函数

（1）创建永久函数

注意 因为add jar 本身也是临时生效,所以在创建永久函数的时候，需要制定路径(并且因为元数据的原因,这个路径还得是hdfs上的路径)

hive (default)> create function my_len2 as "com.Raise.hive.udf.MyUDF" using jar "hdfs://hadoop102:8020/udf/myudf.jar";

（2）即可在hql中使用自定义的永久函数 

hive (default)> select ename,my_len2(ename) ename_len from emp;

（3）删除永久函数 

hive (default)> drop function my_len2;

注意：永久函数跟会话没有关系，创建函数的会话断了以后，其他会话也可以使用。

永久函数创建的时候，在函数名之前需要自己加上库名，如果不指定库名的话，会默认把当前库的库名给加上。

永久函数使用的时候，需要在指定的库里面操作,或者在其他库里面使用的话加上 库名.函数名