hive学习笔记之九：基础UDF

9. 基础UDF

10. 用户自定义聚合函数(UDAF)

11. UDTF

本篇概览

• 本文是《hive学习笔记》的第九篇，前面学习的内置函数尽管已经很丰富，但未必能满足各种场景下的个性化需求，此时可以开发用户自定义函数（User Defined Function，UDF），按照个性化需求自行扩展；

• 本篇内容就是开发一个UDF，名为udf_upper，功能是将字符串字段转为全大写，然后在hive中使用这个UDF，效果如下图红框所示：

• 本篇有以下章节：

1. 开发

2. 部署和验证（临时函数）

3. 部署和验证（永久函数）

源码下载

1. 如果您不想编码，可以在GitHub下载所有源码，地址和链接信息如下表所示：

| 名称 | 链接 | 备注 |

| :-- | :-- | :-- |

| 项目主页 | https://github.com/zq2599/blog_demos | 该项目在GitHub上的主页 |

| git仓库地址(https) | https://github.com/zq2599/blog_demos.git | 该项目源码的仓库地址，https协议 |

| git仓库地址(ssh) | git@github.com:zq2599/blog_demos.git | 该项目源码的仓库地址，ssh协议 |

2. 这个git项目中有多个文件夹，本章的应用在hiveudf文件夹下，如下图红框所示：

开发

1. 新建名为hiveudf的maven工程，pom.xml内容如下，有两处需要关注的地方，接下来马上讲到：

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns=“http://maven.apache.org/POM/4.0.0”

xmlns:xsi=“http://www.w3.org/2001/XMLSchema-instance”

xsi:schemaLocation=“http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd”>

4.0.0

com.bolingcavalry

hiveudf

1.0-SNAPSHOT

org.apache.hive

hive-exec

1.2.2

provided

org.pentaho

pentaho-aggdesigner-algorithm

org.apache.hadoop

hadoop-common

2.7.7

provided

2. 上述pom.xml中，两个依赖的scope为provided，因为这个maven工程最终只需要将咱们写的java文件构建成jar，所以依赖的库都不需要；

3. 上述pom.xml中排除了pentaho-aggdesigner-algorithm，是因为从maven仓库下载不到这个库，为了能快速编译我的java代码，这种排除的方式是最简单的，毕竟我用不上（另一种方法是手动下载此jar，再用maven install命令部署在本地）；

4. 创建Upper.java，代码如下非常简单，只需存在名为evaluate的public方法即可：

package com.bolingcavalry.hiveudf.udf;

import org.apache.commons.lang.StringUtils;

import org.apache.hadoop.hive.ql.exec.UDF;

public class Upper extends UDF {

/**

• 如果入参是合法字符串，就转为小写返回

• @param str

• @return

*/

public String evaluate(String str) {

return StringUtils.isBlank(str) ? str : str.toUpperCase();

}

}

5. 编码已完成，执行mvn clean package -U编译构建，在target目录下得到hiveudf-1.0-SNAPSHOT.jar文件；

6. 接下来将咱们做好的UDF部署在hive，验证功能是否正常；

部署和验证（临时函数）

1. 如果希望UDF只在本次hive会话中生效，可以部署为临时函数，下面是具体的步骤；

2. 将刚才创建的hiveudf-1.0-SNAPSHOT.jar文件下载到hive服务器，我这边路径是/home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar；

3. 开启hive会话，执行以下命令添加jar：

add jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;

4. 执行以下命令创建名为udf_upper的临时函数：

create temporary function udf_upper as ‘com.bolingcavalry.hiveudf.udf.Upper’;

5. 找一个有数据并且有string字段的表（我这是student表，其name字段是string类型），执行以下命令：

select name, udf_upper(name) from student;

6. 执行结果如下，红框中可见udf_upper函数将name字段转为大写：

7. 这个UDF只在当前会话窗口生效，当您关闭了窗口此函数就不存在了；

8. 如果您想在当前窗口将这个UDF清理掉，请依次执行以下两个命令：

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Java）

最后

面试题文档来啦，内容很多，485页！

由于笔记的内容太多，没办法全部展示出来，下面只截取部分内容展示。

1111道Java工程师必问面试题

MyBatis 27题 + ZooKeeper 25题 + Dubbo 30题：

Elasticsearch 24 题 +Memcached + Redis 40题：

Spring 26 题+ 微服务 27题+ Linux 45题：

Java面试题合集：

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
中…(img-qTHnLe3i-1713855336698)]

Spring 26 题+ 微服务 27题+ Linux 45题：

[外链图片转存中…(img-v7gj280B-1713855336698)]

Java面试题合集：

[外链图片转存中…(img-iVjvfdlF-1713855336699)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！