干货详解：hive自定义函数

最新推荐文章于 2024-07-16 10:50:48 发布

Python-Jack

最新推荐文章于 2024-07-16 10:50:48 发布

阅读量780

点赞数 1

本文链接：https://blog.csdn.net/qfluohao/article/details/105650516

版权

本文详细介绍了如何在Hive中实现自定义函数，包括UDF、UDTF和UDAF的格式及其实现步骤。从创建pom.xml配置文件，到编写源码，再到打包加载和测试功能，每个环节都有清晰的示例和解释。

摘要由CSDN通过智能技术生成

hive自定义函数

1 自定义函数

1.1 为什么需要自定义函数

hive的内置函数满足不了所有的业务需求。

hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。

1.2 常见自定义函数有哪些

2 自定义函数实现

2.1 UDF格式

先在工程下新建一个pom.xml,加入以下maven的依赖包请查看code/pom.xml

定义UDF函数要注意下面几点:

2.1.1 自定义函数第一个案例

public class FirstUDF extends UDF {

public String evaluate(String str){

String upper = null;

//1、检查输入参数

if (StringUtils.isEmpty(str)){



} else {

upper = str.toUpperCase();

}



return upper;

}



//调试自定义函数

public static void main(String[] args){

System.out.println(new firstUDF().evaluate("bingbing"));

}

}

2.2 函数加载方式

2.2.1 命令加载

这种加载只对本session有效

# 1、将编写的udf的jar包上传到服务器上，并且将jar包添加到hive的class path中

# 进入到hive客户端,执行下面命令

add jar /hivedata/udf.jar

# 2、创建一个临时函数名,要跟上面hive在同一个session里面：

create temporary function toUP as 'com