hive自定义UDF函数

hive自定义UDF函数

1.什么是udf

​ UDF（User-Defined Functions）即是用户自定义的hive函数。hive自带的函数并不能完全满足业务的需求，这时就需要我们自定义函数了。

官网参考地址：LanguageManual UDF

2.UDF分类

1.UDF:one to one ，进来一个出去一个，row mapping。 是row级别操作，如：upper、substr函数

2.UDAF: many to one,进来多个出去一个，row mapping。是row级别操作，如sum/min。A：aggregation

3.UDTF：one to mang,进来一个出去多行。如lateral view 与 explode，T：table-generating

3.UDF编程示列

3.1创建一个maven工程

maven工程的创建不多做赘述，网上很多

3.2添加pom文件的依赖

添加依赖主要是添加hive-exec这个jar包的依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.ruozedata.udf</groupId>
    <artifactId>g6-train-udf</artifactId>
    <version>1.0-SNAPSHOT</version>

    <name>g6-train-udf</name>
    <!-- FIXME change it to the project's website -->
    <url>http://www.example.com</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>1.7</maven.compiler.source>
        <maven.compiler.target>1.7</maven.compiler.target>
        <hadoop.version>2.6.0-cdh5.7.0</hadoop.version>
        <hive.version>1.1.0-cdh5.7.0</hive.version>
    </properties>

    <!--添加CDH的仓库-->
    <repositories>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
        </repository>
    </repositories>

    <dependencies>

        <!--添加Hadoop的依赖-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <!--hive UDF函数依赖包-->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>${hive.version}</version>
        </dependency>
        
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
    </dependencies>
</project>

3.3UDF函数编写

UDF函数自定义主要是继承hive-exec中UDF这个类，重写evaluate方法实现UDF自定义。

package com.ruozedata.java;

import org.apache.hadoop.hive.ql.exec.UDF;

public class HelloUdf extends UDF {
    public String evaluate (String input){
        return "Hello:"+input;
    }
}

测试一下这个方法

package TestUdfFile;

import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import com.ruozedata.java.HelloUdf;

public class TestHelloUdf{

    private HelloUdf helloUdf;

    @Before
    public void setUp(){
        helloUdf = new HelloUdf();
    }

    @After
    public void tearDown(){
        helloUdf = null;
    }

    @Test
    public void testUdf(){
        String input = "John";
        String result = helloUdf.evaluate(input);
        System.out.println(result);
    ｝
}

4.打包测试

4.hive中使用

hive创建UDF函数有三种方式:

• 创建临时的UDF函数，只对当前session生效
• 创建永久的UDF函数
• 编译hive源码支持UDF函数，对所有部署编译后的hive生效。

4.1创建临时的UDF函数

临时函数一般只做测试用，生产上一般不会创建临时函数，上传打好的jar包到指定的目录，然后在hive命令行添加jar包，不想使用add jar方式也可以将jar包放到 $HIVE_HOME/auxlib 这个目录下。

--添加jar包，然后创建临时函数并测试
hive> add jar /home/hadoop/lib/g6-train-udf-1.0.jar;
Added [/home/hadoop/lib/g6-train-udf-1.0.jar] to class path
Added resources: [/home/hadoop/lib/g6-train-udf-1.0.jar]
hive> create temporary function sayHello as 'com.ruozedata.java.HelloUdf';
OK
Time taken: 0.702 seconds

hive> select sayHello("Jelly");
OK
Hello:Jelly
Time taken: 1.87 seconds, Fetched: 1 row(s)
--因为创建的是临时函数，所以在MySQL的hive元数据中没有这个临时函数的相关信息
mysql> select * from FUNCS;
Empty set (0.00 sec)

4.2创建永久UDF函数

创建永久生效的UDF函数，主要是在创建函数的时候指定对应的hdfs路径。

#上传jar包至hdfds的指定目录
[hadoop@hadoop001 lib]$ hadoop fs -put ~/lib/g6-train-udf-1.0.jar /lib/
[hadoop@hadoop001 lib]$ hadoop fs -ls /lib/                            
Found 1 items
-rw-r--r--   1 hadoop supergroup      16783 2019-04-21 03:23 /lib/g6-train-udf-1.0.jar

--创建永久生效的UDF函数
hive> create function sayHello as 'com.ruozedata.java.HelloUdf' using jar 'hdfs://hadoop001:9000/lib/g6-train-udf-1.0.jar';
converting to local hdfs://hadoop001:9000/lib/g6-train-udf-1.0.jar
Added [/tmp/032f1777-07cb-4612-88dd-dfc51216300a_resources/g6-train-udf-1.0.jar] to class path
Added resources: [hdfs://hadoop001:9000/lib/g6-train-udf-1.0.jar]
OK
Time taken: 0.597 seconds

--测试一下新建的UDF函数
hive> select sayHello("Tom");
OK
Hello:Tom
Time taken: 1.095 seconds, Fetched: 1 row(s)

--同时在MySQL的hive元数据能看到这个函数的相关信息
mysql> select * from FUNCS;
+---------+-----------------------------+-------------+-------+-----------+-----------+------------+------------+
| FUNC_ID | CLASS_NAME                  | CREATE_TIME | DB_ID | FUNC_NAME | FUNC_TYPE | OWNER_NAME | OWNER_TYPE |
+---------+-----------------------------+-------------+-------+-----------+-----------+------------+------------+
|       1 | com.ruozedata.java.HelloUdf |  1555831589 |     1 | sayhello  |         1 | NULL       | USER       |
+---------+-----------------------------+-------------+-------+-----------+-----------+------------+------------+
1 row in set (0.00 sec)