Hive学习之自定义聚合函数

最新推荐文章于 2024-01-30 20:27:17 发布
最新推荐文章于 2024-01-30 20:27:17 发布
阅读量6.0k 收藏 3
点赞数 1
分类专栏： Hive 勤奋的Hive 文章标签： Hive UDAF GenericUDAFEvaluator AbstractGenericUDAFR
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skywalker_only/article/details/39854753
版权
勤奋的Hive 同时被 2 个专栏收录
33 篇文章 17 订阅 ¥9.90 ¥99.00
订阅专栏
Hive
32 篇文章 31 订阅 ¥9.90 ¥99.00
订阅专栏
本文深入探讨了Hive中的用户自定义聚合函数（UDAF），包括简单型和通用型的区别。重点讲解了如何实现通用型UDAF，涉及到解析器和计算器的编写，解析器需实现GenericUDAFResolver2接口，计算器继承GenericUDAFEvaluator并作为内部静态类。文章还详细介绍了计算器的四种模式以及必须实现的抽象方法。
摘要由CSDN通过智能技术生成

      Hive支持用户自定义聚合函数（UDAF），这种类型的函数提供了更加强大的数据处理功能。Hive支持两种类型的UDAF：简单型和通用型。正如名称所暗示的，简单型UDAF的实现非常简单，但由于使用了反射的原因会出现性能的损耗，并且不支持长度可变的参数列表等特征。而通用型UDAF虽然支持长度可变的参数等特征，但不像简单型那么容易编写。

      这篇文章将学习编写UDAF的规则，比如需要实现哪些接口，继承哪些类，定义哪些方法等， 实现通用型UDAF需要编写两个类：解析器和计算器。解析器负责UDAF的参数检查，操作符的重载以及对于给定的一组参数类型查找正确的计算器。计算器实现实际UDAF的计算逻辑。通常解析器可以实现org.apache.hadoop.hive.ql.udf.generic.GenericUDAFResolver2接口，但建议继承org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver抽象类，该类实现了GenericUDAFResolver2接口。计算器需要继承org.apache.hadoop.hive.ql.udf.generic.GenericUDAFEvaluator抽象类，并做为解析器的内部静态类实现。

      解析器的类型检查确保用户传递正确的参数，比如UDAF的参数为Integer类型，那么用户传递Double就需要抛出异常。操作符重载则允许为不同类型的参数定义不同的UDAF逻辑。在编码之前，先了解一下AbstractGenericUDAFResolver类，该类有两个重载的方法public GenericUDAFEvaluator getEvaluator(GenericUDAFParameterInfoinfo)和public GenericUDAFEvaluatorgetEvaluator(TypeInfo[] info

了解本专栏 订阅专栏 解锁全文
skyWalker_ONLY
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Hive之——用户自定义聚合函数
冰河的专栏
03-13 1560
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88536189 基于UDAF执行的转换的不同，在不同阶段的返回值类型也可能是不同的。 在写UDAF的时候一定要注意内存使用的问题。通过配置参数mapred.child.java.opts可以调整执行过程的内存需求量，但是这种方式并非总是奏效: <property>...
Hive学习之自己定义聚合函数
aofan9566的博客
04-14 217
Hive支持用户自己定义聚合函数（UDAF），这样的类型的函数提供了更加强大的数据处理功能。Hive支持两种类型的UDAF：简单型和通用型。正如名称所暗示的，简单型UDAF的实现很easy，但因为使用了反射的原因会出现性能的损耗，而且不支持长度可变的參数列表等特征。而通用型UDAF尽管支持长度可变的參数等特征。但不像简单型那么easy编写。 这篇文章将学...
hive常用函数五
dingxiaohuang4790的博客
09-17 196
复合类型构建操作 1. Map类型构建: map 语法: map (key1, value1, key2, value2, …) 说明：根据输入的key和value对构建map类型 举例： hive> Create table lxw_test as select map('100','tom','200','mary') as t from lxw_dual; hiv...
Hive：聚合函数、GROUP BY、ORDER BY、LIMIT、执行顺序和JOIN、函数
qq_43601664的博客
03-12 3275
HQL
HiveSQL题——聚合函数(sum/count/max/min/avg)
最新发布
爱吃辣条的博客
01-30 1795
HiveSQL题——聚合函数(sum/count/max/min/avg)
Hive自定义函数
01-20
比如，我们想要实现一个名为`self_count`的自定义聚合函数，它模仿Hive内置的`count`函数，对一组数据进行计数。 #### 实现原理 UDAF的输入与输出比例为n:1，即它可以接收多条输入记录，并最终返回一个汇总的结果。...
hive-udf:hive自定义函数
05-18
hive-udfhive自定义函数主要实现hive3种自定义函数1，udf函数，主要用于处理一对一数据处理2，udtf函数，主要用于处理一对多数据处理2，udaf函数，主要用与处理多对一数据聚合处理
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
03-24
3. Hive自定义函数（UDF）： - UDF定义：用户可以编写Java代码实现特定功能的函数，然后在Hive SQL中调用。 - UDAF（用户定义的聚合函数）：用于处理一组输入值并返回单个值，如自定义平均值、众数等。 - UDTF...
hive自定义函数demo
05-30
下面，我们将深入学习与Hive自定义函数相关的知识。 1. **什么是Hive UDF?** Hive自定义函数（User Defined Function，UDF）是用户编写并集成到Hive系统中的函数，用来处理Hive不内置支持的特定计算或转换任务。...
hive 创建自定义函数 和 hive加载说明
08-11
然而，有时Hive的内置函数并不能满足所有的业务需求，这时我们就需要创建自定义函数（UDF，User Defined Function）。这篇博文主要探讨了如何在Hive中创建自定义函数以及如何加载它们，这对于深化Hive的使用和解决...
Hive常用系统函数-聚合函数
u011517132的博客
12-16 2483
关于Hive常用的聚合函数 Hive的聚合函数，大多可以group by 组合使用 函数 参数格式 解释 count count(*), count(expr)，count(distinct expr) 返回查找的总行数，count(*)返回的行数包括null值；count(expr)和count(distinct expr) 不包括null值 sum sum(col), su...
HIVE相关方法优化之聚合函数GROUP SETS
weixin_40809627的博客
07-05 3451
1、背景 在数据开发统计相关计算过程中，group by 和group sets 是我们经常用的方法。但当统计指标过程中如果维度特别多，会使得数据任务运行特别慢，导致任务延迟经常出现。针对上面问题对group sets 常用指标进行调研优化。 2、 ...
Hive聚合函数及采样函数详解
xiao_jun_0820的专栏
06-23 6358
http://www.it165.net/pro/html/201506/42860.html ?? 本文主要使用实例对Hive内建的一些聚合函数、分析函数以及采样函数进行比较详细的讲解。 一、基本聚合函数 数据聚合是按照特定条件将数据整合并表达出来，以总结出更多的组信息。Hive包含内建的一些基本聚合函数，如MAX, MIN, AVG等等，同时也通过GROUPING SETS, RO
Hive聚合函数详细讲解
yang1015661763的博客
01-17 324
Hive中的聚合函数用于在数据上进行计算并返回单个值，这些值通常是基于一组行或列的汇总。
hive学习笔记之十：用户自定义聚合函数(UDAF)，区区一个SpringBoot问题就被干趴下了
m0_64867047的博客
12-26 652
合并值缓冲区大小，这里是用来保存字符串长度，因此设为4byte @return */ @Override public int estimate() { return JavaDataModel.PRIMITIVES1; } } 新建FieldLengthUDAFEvaluator.java，里面是整个UDAF逻辑实现，关键代码已经添加了注释，请结合前面的图片来理解，核心思路是iterate将当前分组的字段处理完毕，merger把分散的数据合并起来，再由terminate决定当前分组计算结果：..
Hive如何比较复杂数据类型
Time flys
12-24 2533
Hive中的复杂数据类型，比如array，struct, map能进行大小的比较吗，我们先来做实验看看结果。 Array select max(arr) from ( select array(1,3,5) as arr union all select array(2,4,1) as arr union all select array(2,3,5) as arr ...
Hive : UDFArgumentTypeException Exactly one argument is expected.
weixin_30367873的博客
06-28 1896
Hive执行时Failed.. 分段执行发现排除一些聚合函数或者内置函数后可以正常执行.. 因为Hive-Sql语句比较长..有很多的case when then 排除后发现是聚合函数的用法问题.. 竟然sb似的只写了个 sum() 里边没写.字段名..日.. 低级失误害死人.. 如果你也报这个错..请仔细检查一下语句把.. 转载于:https://www.cnb...
Hive自定义UDF和聚合函数UDAF
weixin_34075551的博客
09-04 274
Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法。Hive将数据组织为表，这就使得HDFS上的数据有了结构，元数据即表的模式，都存储在名为metastore的数据库中。 可以在hive的外壳环境中...
Hive知识点（七） --聚合函数
qq_38633279的博客
07-30 453
0.查看聚合函数 show functions #查看聚合函数 desc function extended upper; #查看upper函数的使用，里面会有案例讲解 描述的缩写 函数 扩展 函数名 1.group by 1.求每个部门的平均工资 select depo,avg(sal) from emp group by depo; 备注：其中from前面出现的字段是有要求的 1.group by 通过分组将部门按组分开 #所以group by出现的字段前面要出现，其他的字
Hive内置与自定义函数详解
"这是一份关于Hive中常用函数的文档，涵盖了从Apache Hive官网翻译过来的函数介绍和使用说明，包括内置运算符、内置函数、内置的聚合函数(UDAF)、内置表生成函数(UDTF)以及自定义函数(UDF、UDAF、UDTF)的详细内容。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

skyWalker_ONLY

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值