Hive的UDF编程之GenericUDF编程

最新推荐文章于 2024-05-11 00:36:31 发布

xipenfei

最新推荐文章于 2024-05-11 00:36:31 发布

阅读量1.5k

点赞数 2

分类专栏：大数据 UDF

本文链接：https://blog.csdn.net/weixin_42229056/article/details/97142973

版权

Hive编程指南的GenericUDF，GenericUD可以接受负责数据类型的数据参数输入，这里我们使用的是输入数组，判断数组中是否包含某个值

摘要由CSDN通过智能技术生成

UDF简介

在Hive中，用户可以自定义一些函数，用于扩展HiveQL的功能，而这类函数叫做UDF（用户自定义函数）。UDF分为两大类：UDAF（用户自定义聚合函数）和UDTF（用户自定义表生成函数）。在介绍UDAF和UDTF实现之前，我们先在本章介绍简单点的UDF实现——UDF和GenericUDF，然后以此为基础在下一章介绍UDAF和UDTF的实现。

Hive有两个不同的接口编写UDF程序。

一个是基础的UDF接口，一个是复杂的GenericUDF接口。
UDF 基础UDF的函数读取和返回基本类型，即Hadoop和Hive的基本类型。如，Text、IntWritable、LongWritable、DoubleWritable等。
GenericUDF 复杂的GenericUDF可以处理Map、List、Set类型。

注解的使用
@Describtion注解是可选的，用于对函数进行说明，其中的FUNC字符串表示函数名，当使用DESCRIBE FUNCTION命令时，替换成函数名。@Describtion包含三个属性：

name：用于指定Hive中的函数名。
value：用于描述函数的参数。
extended：额外的说明，如，给出示例。当使用DESCRIBE FUNCTION EXTENDED name的时候打印。

而且，Hive要使用UDF，需要把Java文件编译、打包成jar文件，然后将jar文件加入到CLASSPATH中，最后使用CREATE FUNCTION语句定义这个Java类的函数：

hive> ADD jar /root/experiment/hive/hive-0.0.1-SNAPSHOT.jar;
hive> CREATE TEMPORARY FUNCTION hello AS "edu.wzm.hive. HelloUDF";
hive> DROP TEMPORARY FUNCTION IF EXIST hello;

具体的打包方式，在上一篇的坐标转换UDF中有详细的介绍

这次我们重点介绍GenericUDF，继承这个类需要实现三个方法