hive3自定义函数

最新推荐文章于 2024-01-03 17:36:59 发布

qq_53895159

最新推荐文章于 2024-01-03 17:36:59 发布

阅读量1.1k

点赞数

文章标签： mapreduce hadoop yarn hive

本文链接：https://blog.csdn.net/qq_53895159/article/details/121460620

版权

本文详细介绍了Hive3中的UDF、UDAF和UDTF三种自定义函数，包括它们的概念、特点、应用场景及代码实现，并探讨了MapJoin优化、数据倾斜问题及其解决方案，以及二次排序的需求和作用。通过对这些技术的了解，有助于提升Hive的数据处理效率和灵活性。

摘要由CSDN通过智能技术生成

一.UDF

概念说明:user defined function

特点特征:

应用场景:in:out=1:1,只能输入一条记录当中的数据，同时返回一条处理结果.

代码实现:自定义一个java类

继承UDF类

约定俗成的重写evaluate方法

public String evaluate(String input,int maxSaveStringLength,String replaceSign) {
             if(input.length()<=maxSaveStringLength){
                    return input;
             }
             return input.substring(0,maxSaveStringLength)+replaceSign;
       }

打包类所在项目成一个jar包并上传到hive所在机器

在hive中执行add jar操作，将jar加载到classpath中。

add jar hdfs://'jar包路径';

在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数

create temporary function mask as '包联到类名';

hive sql中像调用系统函数一样使用udf函数

二.UDAF

概念说明 :自定义udaf函数self_count，实现系统udaf count的功能

特点特征: in:out=n:1,即输入N条数据，返回一条处理结果，即列转行

应用场景:聚合函数

代码实现:自定义一个j