一、UDF
1.什么是 UDF?
1. 当 Hive 提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF: user-defined function)
2.UDF 开发步骤
1.新建 JAVA Maven 项目,pom文件中添加 hive-exec-1.1.0.jar 和 hadoop-common-2.6.0.jar 依赖
上述代码↓↓↓
<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.1.0-cdh5.14.0</version>
</dependency>
</dependencies>
2.创建一个类继承UDF类,创建一个方法名为 evaluate 的方法,方法里书写逻辑代码
3.打包上传到集群
4.在hive的shell窗口中执行命令: add jar 'jar包路径'
5.创建临时函数: create temporary function 函数名 AS 'jar包全限定名';
注:
删除临时函数
drop temporary function 函数名;
创建永久函数
create function 函数名 AS 'jar包全限定名';
删除永久函数
drop function 函数名;
6.使用我们自定义的函数
二、Hive自定义函数—使用普通Java类
1.创建一个Java类,书写方法,方法内定义自己的逻辑
2.打包上传到集群
3.在hive的shell窗口中执行命令: add jar 'jar包路径'
4.使用 select reflect( '全限定名' , '方法名' , ‘参数’ ) ;