欢迎访问我的GitHub
https://github.com/zq2599/blog_demos
内容:所有原创文章分类和汇总,及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;
本篇概览
- 本文是《hive学习笔记》的第九篇,前面学习的内置函数尽管已经很丰富,但未必能满足各种场景下的个性化需求,此时可以开发用户自定义函数(User Defined Function,UDF),按照个性化需求自行扩展;
- 本篇内容就是开发一个UDF,名为udf_upper,功能是将字符串字段转为全大写,然后在hive中使用这个UDF,效果如下图红框所示:
![f1e6e314fdac548168920dbc9f3784b1.png](https://img-blog.csdnimg.cn/img_convert/f1e6e314fdac548168920dbc9f3784b1.png)
- 本篇包括以下内容:
- 开发
- 部署和验证(临时函数)
- 部署和验证(永久函数)
源码下载
- 如果您不想编码,可以在GitHub下载所有源码,地址和链接信息如下表所示:
![177e0a22079fd7386b74d4ff02bd4f6c.png](https://img-blog.csdnimg.cn/img_convert/177e0a22079fd7386b74d4ff02bd4f6c.png)
- 这个git项目中有多个文件夹,本章的应用在hiveudf文件夹下,如下图红框所示:
![0b458091f1ed087ab36ef72a8fac2c25.png](https://img-blog.csdnimg.cn/img_convert/0b458091f1ed087ab36ef72a8fac2c25.png)
开发
- 新建名为hiveudf的maven工程,pom.xml内容如下,有两处需要关注的地方,接下来马上讲到:
<?xml version="1.0" encoding="UTF-8"?>4.0.0com.bolingcavalry hiveudf 1.0-SNAPSHOTorg.apache.hive hive-exec 1.2.2providedorg.pentaho pentaho-aggdesigner-algorithm org.apache.hadoop hadoop-common 2.7.7provided
- 上述pom.xml中,两个依赖的scope为provided,因为这个maven工程最终只需要将咱们写的java文件构建成jar,所以依赖的库都不需要;
- 上述pom.xml中排除了pentaho-aggdesigner-algorithm,是因为从maven仓库下载不到这个库,为了能快速编译我的java代码,这种排除的方式是最简单的,毕竟我用不上(另一种方法是手动下载此jar,再用maven install命令部署在本地);
- 创建Upper.java,代码如下非常简单,只需存在名为evaluate的public方法即可:
package com.bolingcavalry.hiveudf.udf;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.hive.ql.exec.UDF;public class Upper extends UDF { /** * 如果入参是合法字符串,就转为小写返回 * @param str * @return */ public String evaluate(String str) { return StringUtils.isBlank(str) ? str : str.toUpperCase(); }}
- 编码已完成,执行mvn clean package -U编译构建,在target目录下得到hiveudf-1.0-SNAPSHOT.jar文件;
- 接下来将咱们做好的UDF部署在hive,验证功能是否正常;
部署和验证(临时函数)
- 如果希望UDF只在本次hive会话中生效,可以部署为临时函数,下面是具体的步骤;
- 将刚才创建的hiveudf-1.0-SNAPSHOT.jar文件下载到hive服务器,我这边路径是/home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar
- 开启hive会话,执行以下命令添加jar:
add jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;
- 执行以下命令创建名为udf_upper的临时函数:
create temporary function udf_upper as 'com.bolingcavalry.hiveudf.udf.Upper';
- 找一个有数据并且有string字段的表(我这是student表,其name字段是string类型),执行以下命令:
select name, udf_upper(name) from student;
- 执行结果如下,红框中可见udf_upper函数将name字段转为大写:
![bbed217cecba780a82850ddeb5464384.png](https://img-blog.csdnimg.cn/img_convert/bbed217cecba780a82850ddeb5464384.png)
- 这个UDF只在当前会话窗口生效,当您关闭了窗口此函数就不存在了;
- 如果您想在当前窗口将这个UDF清理掉,请依次执行以下两个命令:
drop temporary function if exists udf_upper;delete jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;
- 删除后再使用udf_upper会报错:
hive> select name, udf_upper(name) from student;FAILED: SemanticException [Error 10011]: Line 1:13 Invalid function 'udf_upper'
部署和验证(永久函数)
- 前面体验了临时函数,接下来试试如何让这个UDF永久生效(并且对所有hive会话都生效);
- 在hdfs创建文件夹:
/home/hadoop/hadoop-2.7.7/bin/hadoop fs -mkdir /udflib
- 将jar文件上传到hdfs:
/home/hadoop/hadoop-2.7.7/bin/hadoop fs -put /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar /udflib/
- 在hive会话窗口执行以下命令,使用hdfs中的jar文件创建函数,要注意的是jar文件地址是hdfs地址,一定不要漏掉hdfs:前缀:
create function udf_upper as 'com.bolingcavalry.hiveudf.udf.Upper'using jar 'hdfs:///udflib/hiveudf-1.0-SNAPSHOT.jar';
- 试一下这个UDF,如下图,没有问题:
![af71af96e6114f8fe2b5e8455170f0c8.png](https://img-blog.csdnimg.cn/img_convert/af71af96e6114f8fe2b5e8455170f0c8.png)
- 新开hive会话窗口尝试上述sql,依旧没有问题,证明UDF是永久生效的;
- 至此,咱们已经对hive的UDF的创建、部署、使用都有了基本了解,但是本篇的UDF太过简单,只能用在一进一出的场景,接下来的文章咱们继续学习多进一出和一进多出。
欢迎关注我的公众号:程序员欣宸
![39726fdca754c5766f7a933d4a72c262.png](https://img-blog.csdnimg.cn/img_convert/39726fdca754c5766f7a933d4a72c262.png)