Presto 聚合函数（UDAF） 开发详细步骤

最新推荐文章于 2024-06-26 09:44:49 发布
最新推荐文章于 2024-06-26 09:44:49 发布
阅读量3.3k 收藏 5
点赞数 1
分类专栏： presto 文章标签： Presto UDAF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LG_49/article/details/86241622
版权
本文详细介绍了如何开发Presto的UDAF（用户自定义聚合函数）。从加入相关依赖开始，创建sum类并定义相关注解，接着创建NullableDoubleState类，然后编写注册类。不要忘记在META-INF/services中创建必要的配置文件，最后打包并部署到Presto插件目录，重启服务后即可使用新函数。
摘要由CSDN通过智能技术生成

1.加入相关依赖：

packaging>presto-plugin</packaging>

 

 

<!--设置presto版本-->

<properties>

    <presto.verison>0.208</presto.verison>

</properties>

 

<dependencies>

    <!-- Presto SPI -->

    <dependency>

        <groupId>com.facebook.presto</groupId>

        <artifactId>presto-spi</artifactId>

        <version>${presto.verison}</version>

        <scope>provided</scope>

    </dependency>

 

    <!-- https://mvnrepository.com/artifact/com.google.guava/guava -->

    <dependency>

        <groupId>com.google.guava</groupId>

        <artifactId>guava</artifactId>

        <version>11.0.2</version>

    </dependency>

</dependencies>

 

 

<plugin>

    
最低0.47元/天 解锁文章
赞神天降
关注
专栏目录
大数据Presto（四）：Presto自定义函数和JDBC连接
Lansonli（蓝深李）的博客
11-13 1462
Presto 自定义函数我们可以登录Presto客户端，使用命令：show functions 来查询对应的内置函数。我们也可以自己定义函数，自定义的函数包含UDF和UDAF函数。1、​​​​​​​​​​​​​​UDF函数自定义UDF函数及使用可以按照下面步骤来实现。1.1、创建Maven项目，加入如下依赖
Presto原理与代码实例讲解
最新发布
程序员光剑
08-06 714
Presto原理与代码实例讲解 1.背景介绍 1.1 大数据查询引擎的发展历程 1.1.1 MapReduce时代 1.1.2 Hive时代
Presto如何开发自定义聚合函数
王伟的博客
06-23 1274
（一）先了解一下什么是自定义聚合函数 其实就是根据你自己的业务去进行定义你自己想要实现的方法，比如说Mysql中的sum() 方法，就是求某个字段的累加之和，那么你就可以自己实现自己的 比如说 add() 自定义聚合函数方法 （二）如何开发自定义聚合函数 首先需要实现Presto提供的Plugin接口，然后把要实现的聚合函数所在的类添加到集合中 package com.tapdb.analytics.presto.udaf; import com.google.common.collect.Imm
Presto UDAF 输出数组(array)
LG_49的博客
01-10 1564
1.版本0.189之前的使用: @OutputFunction("array(" + StandardTypes.BIGINT + ")") public static void output(SliceState state, BlockBuilder out) { // 获取状态 Slice slice = state.getSlice...
探索数据的无限可能：Presto UDF插件深度解析与应用
gitblog_00008的博客
06-26 588
探索数据的无限可能：Presto UDF插件深度解析与应用 项目地址:https://gitcode.com/qubole/presto-udfs 在大数据处理的世界里，灵活性和扩展性是两大关键要素。今天，我们将深入探讨一个为Presto量身定制的强大工具——Presto User-Defined Functions (UDFs) 插件，它让数据查询和分析变得更加灵活高效。 1. 项目介绍 Pre...
presto cube等复杂聚合函数
鸭梨的博客
01-04 2361
Presto还使用GROUPING SETS，CUBE和ROLLUP语法支持复杂的聚合。 使用此语法，用户可以执行需要在单个查询中对多组列进行聚合的分析。 复杂的分组操作不支持对由输入列组成的表达式进行分组。 仅允许使用列名或常规名称。 复杂的分组操作通常等效于简单GROUP BY表达式的UNION ALL，如以下示例所示。 但是，当聚合的数据源不确定时，此等效项将不适用。 GROUPING SETS 分组集允许用户指定多个列进行分组。 不属于分组列的给定子列表的列被设置为NULL。 SELECT * FR
【大数据】Presto开发自定义聚合函数
时光、疏离了记忆づ童话的博客
10-06 1486
Presto 在交互式查询任务中担当着重要的职责。随着越来越多的人开始使用 SQL 在 Presto 上分析数据，我们发现需要将一些业务逻辑开发成类似 Hive 中的 UDF，提高 SQL 使用人员的效率，同时也保证 Hive 和 Presto 环境中的 UDF 统一。 1、Presto函数介绍 在此之前先简单介绍下UDF和UDAF，UDF叫做用户自定义函数，而UDAF叫做用户自定义聚合函数，区别就在于UDF不会保存状态，一行输入一行输出，而UDAF会涉及到状态的保存，通过聚合多个节点的数据来转换为最终的输
Presto UDF开发实战
刘伊凡2.0
10-15 622
待加内容
【大数据开发】Presto——Presto安装部署、核心数据结构、Java集成Presto、自定义UDF、UDAF函数
白色风车
11-09 1084
Presto快速入门点我点我点我！ Presto只支持Java操作，不能使用Scala 必备知识：一个字节是8位，一个中文汉字占用3个字节的长度，byte类型数据是1个字节（presto需要自己手动计算字节数和存储位置） Presto目录一、安装部署二、Presto核心数据结构2.1 Slice2.2 Block2.3 Page2.4 总结三、Java集成Presto四、Presto编写UDF函数五、Presto编写UDAF函数 一、安装部署 # 创建目录 mkdir -p /opt/soft/pre.
Presto查询执行过程和索引条件下推分析
低代码开发，数据，中间件，企业架构原创技术分享
05-19 1336
转载本文需注明出处：微信公众号EAWorld，违者必究。前言：《Presto 分布式SQL查询引擎及原理分析》详细介绍了Presto 的数据模型、技术架构，解释了Presto 对于查询分...
presto oracleplugin的jar包
11-17
presto oracleplugin 需要的jar包，已验证
大数据OLAP技术体系学习框架
Lansonli（蓝深李）的博客
10-10 2149
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的上面这些看似没用，但实际很重要，这里就不再具体说明，感兴趣的同学可以看看我的学习框架的重要性我是怎么坚持学习的怎么确定学习目标本栏目为缺少OLAP技术体系的同学全面整理的体系学习知识，内容是按不同的技术体系整理的，带你丰富大数据OLAP技术知识体系，想学会就得自律加坚持，赶快行动吧。
udf,udaf,udtf之间的区别
流的博客
04-27 1万+
1、UDF：用户定义（普通）函数，只对单行数值产生作用； 继承UDF类，添加方法 evaluate() /** * @function 自定义UDF统计最小值 * @author John * */ public class Min extends UDF { public Double evaluate(Double a, Do...
hive udaf 返回复杂类型
放飞我心
02-17 5725
package com.hive.customertag; import java.util.ArrayList; import java.util.regex.Matcher; import java.util.regex.Pattern; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache
presto- top N、前 N 天销售额计算
bluedraam_pp的博客
06-10 2649
场景描述 统计前 28 天的销售额的平均值。 统计 TOP N 商品 随机分组
Presto实战
weixin_33748818的博客
11-18 564
一、Presto简介1、PRESTO是什么？Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。2、它可以做什么？Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。一条Presto查询可以将多个数据源的数...
presto的转换函数cast
热门推荐
waiwai3的博客
01-18 5万+
Presto官方函数：http://prestodb-china.com/docs/current/functions.htmlSQL语句：select * from table where date=20180101在hive中正常执行，presto中会报错：operator equal(varchar, bigint) are not registered原因：Presto不支持隐式转换，要求
Presto数组函数
鸭梨的博客
08-18 6322
下标运算符：[] 该[]运算符用于访问数组的元素，并从 1 开始索引： SELECT my_array[1] AS first_element 连接运算符： || 该||运算符用于将数组与数组或相同类型的元素连接起来： SELECT ARRAY [1] || ARRAY [2]; -- [1, 2] SELECT ARRAY [1] || 2; -- [1, 2] SELECT 2 || ARRAY [1]; -- [2, 1] 数组函数 all_match( array(T) , function(T
presto 聚合函数
04-27
Presto 是一个分布式 SQL 查询引擎，支持许多聚合函数，包括但不限于： 1. COUNT：计算行数或非 null 值的数量。 2. SUM：计算数值列的总和。 3. AVG：计算数值列的平均值。 4. MAX：返回数值列的最大值。 5. MIN：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值