hive创建udf函数具体介绍

随着用sql计算业务逻辑越来越复杂，常用的hive内置函数无法满足复杂的sql计算，对于这种复杂的逻辑，需要自己去写udf函数，这里记录一下自己写udf函数的详细过程；

1.创建maven工程，在写hive udf函数的时候，需要首先创建一个maven工程；这个maven工程是普通的java工程；中间会用到一个jar包，这些都是在pom文件中用到，具体pom文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.jumin.udf</groupId>
    <artifactId>testudf</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>1.1.0</version>
        </dependency>
    </dependencies>

    <build>
        <finalName>testudf</finalName>
    </build>
</project>

注：这里的hive-exec的版本要和生产上使用的hive版本一致，不然注册函数之后会报错，因为版本不一致无法使用；我们用的hive版本是1.2.1，和hive-exec的版本是兼容的；

2.创建好maven工程之后，需要创建一个类，该类继承自UDF类，并实现静态方法:evaluate方法；具体如下：

package com.jumin.udf;
import org.apache.hadoop.hive.ql.exec.UDF;

/**
 * @author jumin
 * @version 1.0
 * @date 2020/9/29 9:51
 * @Description: 测试
 **/
public class TestUDF extends UDF{

    /**
     * @param params   参数
     * @return
     */
    public static String evaluate(String params){
		//可以写任意实现的方法，对传参做出处理
    }
}

注：TestUDF必须继承UDF类，且必须实现静态方法evaluate，evaluate传递的参数可以是多个，但在一个类中只能有一个evaluate静态的方法；
实现完成方法之后，将该类打成jar包；

3.将该jar包上传到hdfs上；

hadoop fs -put testudf.jar /user/hive/udf

4.在将jar包上传到hdfs上之后，需要将方法注册成hive函数，这里只提供永久的注册方法，即一次注册之后，方法可以一直使用；

CREATE FUNCTION testUDF AS 'com.jumin.udf.TestUDF '
USING JAR 'hdfs:///user/hive/udf/testudf.jar';

这样，就将方法注册到hive中了，且是一直可以使用的，及时断开连接重连时，下次仍然可以使用；
在进行注册的过程中，发现了一个问题，就是在注册之后，当前连接的session无法使用该方法，总是报错，需要进行session重新连接之后，才能够使用该方法；

与此同时，当我们在使用该方法时，发现存在问题的话，需要将注册的方法删除，然后进行重新创建，删除方法的语句如下：

drop function if exists testUDF;