Hive 自定义函数大数据提升之路

介绍

1.Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。
2.当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。
3.根据用户自定义函数类别分为以下三种：
UDF（User-Defined-Function）（常用）			一进一出
UDAF（User-Defined Aggregation Function）		聚集函数，多进一出
UDTF（User-Defined Table-Generating Functions）	一进多出
4.官方文档地址：https://cwiki.apache.org/confluence/display/Hive/HivePlugins
5.编程步骤
       				a.继承org.apache.hadoop.hive.ql.UDF
       				b.需要实现evaluate函数；evaluate函数支持重载；
6.注意事项
       				a.UDF必须要有返回类型，可以返回null，但是返回类型不能为void；
       				b.UDF中常用Text/LongWritable等类型，不推荐使用java类型；

常用命令

show functions;					查看系统自带的函数
desc function upper;			显示自带的函数的用法
desc function extended upper;	详细显示自带的函数的用法

UDF方式自定义

1.创建maven java 工程，导入jar包

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.czxy</groupId>
    <artifactId>Test01</artifactId>
    <version>1.0-SNAPSHOT</version>
    <repositories>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
    </repositories>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>0.13.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.7.4</version>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                    <!--    <verbal>true</verbal>-->
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <minimizeJar>true</minimizeJar>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

        </plugins>
    </build>
</project>

2.开发java类继承UDF，并重载evaluate 方法

public class ItcastUDF extends UDF {
    public Text evaluate(final Text s) {
        if (null == s) {
            return null;
        }
        //返回大写字母
        return new Text(s.toString().toUpperCase());

    }
}

3.将我们的项目打包，并打包上传到Linux中
打包

上传

4.hive的客户端添加我们的jar包

格式：
 add jar jar包路径;
例：
 add jar /export/servers/hive-1.1.0-cdh5.14.0/lib/udf.jar;

5.设置函数与我们的自定义函数关联

创建临时函数
create temporary function 自定义函数名 as '类名路径';
删除临时函数
drop temporary function 自定义函数名
创建永久函数
create function 自定义函数名 as '类名路径';
删除永久函数
drop   function 自定义函数名;

自定义函数关联
create temporary function tolowercase as 'cn.itcast.udf.ItcastUDF';

6.使用自定义函数

格式：
  	select 自定义函数名('指定值');
例：
 select tolowercase('abc');

Hive通过reflect调用java方法

1.使用纯java代码编写业务逻辑

public class Test {
    public String show(String text) {
        return text + "1111";
    }
}

2.将我们的项目打包，并打包上传到Linux中
打包

上传

3.hive的客户端添加我们的jar包

格式：
 add jar jar包路径;
例：
 add jar /export/servers/hive-1.1.0-cdh5.14.0/lib/udf.jar;

4.使用自定义函数

格式：
 	 select reflect （‘参数一’，‘参数二’，‘参数三’）
 	 参数一：包名-类名
 	 参数二：方法名
 	 参数三：需要计算的数据
例：
 	 select reflect ('com.czxy.Test','show','aaa');