Hive创建UDAF函数

最新推荐文章于 2024-07-16 10:50:48 发布
最新推荐文章于 2024-07-16 10:50:48 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： 从零开始Hadoop Hadoop 文章标签： Hadoop Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxydzyr/article/details/100975350
版权
本文介绍了如何在Hive中创建并使用UDAF（用户自定义聚合函数）步骤，包括在Maven工程中创建Java类，打包成jar，上传到Linux，连接Hive，将jar添加到Hive并创建临时函数，最后进行测试。过程中提到，使用Hive UDAF可能涉及MapReduce任务，但在某些情况下开启本地模式也是可行的选择。
摘要由CSDN通过智能技术生成

Hive创建UDAF函数

文章目录

1. 在之前的maven工程上重新创建一个java类

package com.chinasofti.hive.udf;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.parse.SemanticException;
import org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFEvaluator;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFMkCollectionEvaluator;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFSum;
import org.apache.hadoop.hive.serde2.objectinspector.*;
import org.apache.hadoop.hive.serde2.typeinfo.TypeInfo;

import java.util.ArrayList;
import java.util.List;

/**
 * 实现MySQL中的GROUP_CONCAT 函数的功能，就是Oracle中list函数
 */
public class TestUDAF extends AbstractGenericUDAFResolver {
   

    // 创建LOG对象，用来写入警告和错误到hive的log。
    static final Log LOG = LogFactory.getLog(GenericUDAFSum.class.getName());

    public TestUDAF()
最低0.47元/天 解锁文章
xxydzyr
关注
专栏目录
hive udaf 实现按位取与或
11-21
1. 定义UDAF类：创建一个Java类继承Hive提供的抽象类`GenericUDAFResolver2`，并实现`init()`、`iterate()`、`terminatePartial()`、`merge()`和`terminate()`等方法。 2. 初始化（init()）：初始化UDAF的状态，例如...
hive udaf_Hive UDAF 函数的编写
weixin_36360543的博客
12-23 419
UDAF是Hive中用户自定义的聚集函数，Hive内置UDAF函数包括有sum()与count()，UDAF实现有简单与通用两种方式，简单UDAF因为使用Java反射导致性能损失，而且有些特性不能使用，已经被弃用了；在这篇博文中我们将关注Hive中自定义聚类函数-GenericUDAF，UDAF开发主要涉及到以下两个抽象类：点击(此处)折叠或打开org.apache.hadoop.hive.ql....
Hive用户自定义函数UDAF开发
游离在社会边缘
07-21 1065
释义 UDAF是User Defined Aggregation Function的简称。UDAF用来进行聚合运算，其输入是多行数据，输出一个计算结果。 如何开发 UDAF有两种实现方式：继承UDAF；或继承AbstractGenericUDAFResolver。前一种方式是简单的方式，但其使用了java的反射机制，因此性能上比后一种方式要低效，因此生产上不建议使用第一种方式。 计算的逻辑...
Hive自定义函数编写方法（含源代码解读，超详细，易理解）
最新发布
ffads的博客
07-16 1664
Hive创建自定义函数的逻辑并不难，只需继承相关类，实现相关方法，打成jar包上传集群即可。但在代码编写阶段有一定难度，需要一定的java基础。t=N7T8。
HIVE自定义UDAF函数
weixin_46429290的博客
08-31 1873
/ 确定各个阶段输入输出参数的数据格式ObjectInspectors public ObjectInspector init(Mode m , ObjectInspector [ ] parameters) throws HiveException;// 保存数据聚集结果的类 abstract AggregationBuffer getNewAggregationBuffer() throws HiveException;...
如何编写udaf函数
weixin_44868723的博客
02-25 2548
如何编写udaf函数
Hive UDAF 函数的编写
_a_0_
04-10 1万+
UDAF是Hive中用户自定义的聚集函数，Hive内置UDAF函数包括有sum()与count（），UDAF实现有简单与通用两种方式，简单UDAF因为使用Java反射导致性能损失，而且有些特性不能使用，已经被弃用了；在这篇博文中我们将关注Hive中自定义聚类函数-GenericUDAF，UDAF开发主要涉及到以下两个抽象类：org.apache.hadoop.hive.ql.udf.generic...
Hive 自定义函数编写(UDF,UDAF,UDTF)
菜菜的大数据开发の路
07-17 1015
虽然hive中为我们提供了很多的内置函数，但是在实际工作中，有些情况下hive提供的内置函数无法满足我们的需求，就需要我们自己来手动编写，所以就有了自定义函数UDF。UDF分为三种，分别如下一进一出（输入一行，输出一行），输入一行数据,输出一行数据;比如upper()、lowser()等。，多进一出（输入多行，输出一行），输入多行数据,聚合成一行数据,比如avg()、sum()等。，一进多出（输入一行，输出多行），比如官方文档https。............
Hive自定义函数
01-20
7. **创建模板函数**：使用`create temporary function`或`create function`语句在Hive中注册这个UDF，以便后续在SQL查询中使用。 ### 2. UDAF（用户自定义聚合函数） 除了UDF，还有UDAF（User Defined ...
hive 创建自定义函数 和 hive加载说明
08-11
然而，有时Hive的内置函数并不能满足所有的业务需求，这时我们就需要创建自定义函数（UDF，User Defined Function）。这篇博文主要探讨了如何在Hive中创建自定义函数以及如何加载它们，这对于深化Hive的使用和解决...
hive常用函数
04-17
在本文中，我们将深入探讨Hive的常用函数，包括时间函数、类型转换函数、用户自定义函数（UDF）以及用户自定义聚合函数（UDAF）等。 关系运算符是Hive中的基础函数，用于比较两个值是否相等。例如，A=B用于判断A...
Hive的Udf函数进行数据脱敏
01-26
在Hive中，UDF分为三种类型：UDF（单行函数）、UDAF（累积聚合函数）和UDTF（多行转换函数）。在这里，我们只需要UDF，因为它适用于处理单行数据。 1. **编写Java类**： 要创建一个UDF，你需要编写一个Java类，该...
Hive UDF UDTF UDAF 自定义函数详解
Byyyi耀的博客
12-19 724
Hive UDF UDTF UDAF 自定义函数 详解
Hive系列 (四)：自定义函数UDF UDTF UDAF
Eric Ray的博客
08-13 2632
使用idea创建hive自定义函数UDF UDTF UDAF ，详细介绍及语法代码案例
Hive--10---函数----自定义函数 (UDF-UDAF-UDTF)
时光里的博客
06-25 312
`
hive学习笔记之十：用户自定义聚合函数(UDAF)，区区一个SpringBoot问题就被干趴下了
m0_64867047的博客
12-26 672
合并值缓冲区大小，这里是用来保存字符串长度，因此设为4byte @return */ @Override public int estimate() { return JavaDataModel.PRIMITIVES1; } } 新建FieldLengthUDAFEvaluator.java，里面是整个UDAF逻辑实现，关键代码已经添加了注释，请结合前面的图片来理解，核心思路是iterate将当前分组的字段处理完毕，merger把分散的数据合并起来，再由terminate决定当前分组计算结果：..
Hive自定义函数(UDF、UDAF)
热门推荐
吃果冻不吐果冻皮
07-21 2万+
当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数。UDF用户自定义函数（user defined function)–针对单条记录。 创建函数流程 1、自定义一个Java类 2、继承UDF类 3、重写evaluate方法 4、打成jar包 6、在hive执行add jar方法 7、在hive执行创建模板函数 8、hql中使用Demo01: 自定义
Hive-编写UDF函数(详细教程~~~)
weixin_43586713的博客
10-19 1万+
编写UDF函数(1)创建项目:(2)导入依赖: Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过自定义 UDF 来 方便的扩展。 2）当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义 函数（UDF：user-defined function）。 3）根据用户自定义函数类别分为以下三种： （1）UDF（User-Defined-Function） 一进一出 （2）UDAF（User-Defined Aggregation Function）
Hive之自定义聚合函数UDAF
碣石观海的博客
05-03 1万+
----本文笔记整理自 《Hive编程指南》13.9 用户自定义聚合函数 一、自定义聚合函数（GenericUDAFAverage实现） 1.聚合函数：指0行到多行的0个到多个列作为参数输入，返回单一值的函数，经常和group by子句一起用。 如：sum(col)，avg(col)，max(col)，std(col)等。 2.实现通用的自定义聚合函数 GenericUDAFA...
hive自定义udaf函数
07-22
使用SparkSQL和Hive API，可以通过以下步骤实现用户自定义函数（UDF）、聚合函数（UDAF）和表生成函数（UDTF）： 1. 编写自定义函数的代码，例如： ``` // UDF def myUDF(str: String): Int = { str.length } // UDAF class MyUDAF extends UserDefinedAggregateFunction { override def inputSchema: StructType = StructType(StructField("value", StringType) :: Nil) override def bufferSchema: StructType = StructType(StructField("count", IntegerType) :: Nil) override def dataType: DataType = IntegerType override def deterministic: Boolean = true override def initialize(buffer: MutableAggregationBuffer): Unit = { buffer(0) = 0 } override def update(buffer: MutableAggregationBuffer, input: Row): Unit = { buffer(0) = buffer.getInt(0) + input.getString(0).length } override def merge(buffer1: MutableAggregationBuffer, buffer2: Row): Unit = { buffer1(0) = buffer1.getInt(0) + buffer2.getInt(0) } override def evaluate(buffer: Row): Any = { buffer.getInt(0) } } // UDTF class MyUDTF extends GenericUDTF { override def initialize(args: Array[ConstantObjectInspector]): StructObjectInspector = { // 初始化代码 } override def process(args: Array[DeferedObject]): Unit = { // 处理代码 } override def close(): Unit = { // 关闭代码 } } ``` 2. 将自定义函数注册到SparkSQL或Hive中，例如： ``` // SparkSQL中注册UDF spark.udf.register("myUDF", myUDF _) // Hive中注册UDF hiveContext.sql("CREATE TEMPORARY FUNCTION myUDF AS 'com.example.MyUDF'") // Hive中注册UDAF hiveContext.sql("CREATE TEMPORARY FUNCTION myUDAF AS 'com.example.MyUDAF'") // Hive中注册UDTF hiveContext.sql("CREATE TEMPORARY FUNCTION myUDTF AS 'com.example.MyUDTF'") ``` 3. 在SQL语句中使用自定义函数，例如： ``` -- 使用SparkSQL中的UDF SELECT myUDF(name) FROM users -- 使用Hive中的UDF SELECT myUDF(name) FROM users -- 使用Hive中的UDAF SELECT myUDAF(name) FROM users GROUP BY age -- 使用Hive中的UDTF SELECT explode(myUDTF(name)) FROM users ``` 以上就是使用SparkSQL和Hive API实现用户自定义函数（UDF、UDAF、UDTF）的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值