提升50%！Presto如何提升Hudi表查询性能？

最新推荐文章于 2024-08-28 11:46:48 发布
最新推荐文章于 2024-08-28 11:46:48 发布
阅读量933 收藏 1
点赞数
分类专栏： ApacheHudi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45914070/article/details/116572171
版权
本文介绍了如何使用Apache Hudi的Clustering功能优化Presto查询性能。在Uber的实践中，Clustering显著减少了扫描数据量和CPU消耗，降低了查询延迟。通过异步Clustering Pipeline，实现了摄入和优化的并发执行，有效解决了小文件问题。未来，Hudi将进一步优化Clustering，包括更多用例、轻量级服务和二级索引等。
摘要由CSDN通过智能技术生成

分享一篇关于使用Hudi Clustering来优化Presto查询性能的talk

在这里插入图片描述

talk主要分为如下几个部分

  • 演讲者背景介绍
  • Apache Hudi介绍
  • 数据湖演进和用例说明
  • Hudi Clustering介绍
  • Clustering性能和使用
  • 未来工作

在这里插入图片描述

该talk的演讲者为Nishith Agarwal和Satish Kotha，其中Nishith Agarwal是Apache Hudi PMC成员，在Uber任职团队Leader，Satish Kotha是Apache Hudi Committer，也在Uber任职软件工程师。

在这里插入图片描述

什么是Apache Hudi？Hudi是一个数据湖平台，提供了一些核心功能，来构建和管理数据湖，其提供的核心能力是基于DFS摄取和管理超大规模数据集，包括：增量数据库摄取、日志去重、存储管理、事务写、更快的ETL数据管道、数据合规性约束/数据删除、唯一键约束、处理延迟到达数据等等。

最低0.47元/天 解锁文章
xleesf
关注
专栏目录
presto查询hudi异常解决
主要分享大数据相关的知识，如Spark、Hudi
05-10 872
记录一个presto查询hudi的异常的解决办法，本人目前对presto还不是很熟，只是在使用过程中遇到了问题，记录一下异常解决方法以及过程 异常原因 原因是因为hdfs block块没有一个和presto在一个节点上的，要复现这个问题，可以把hdfs副本数改为1，这样可以比较快的复现，关于如何修改hdfs副本数：修改hdfs-site.x
B站基于缓存优化 PRESTO 集群查询性能
DataFun_Hoh的博客
02-13 1064
当 Presto 去 Hive Metastore 查询的时候，如果想要访问 Alluxio 的数据时，比较简单的做法是将 Hive Metastore 里相应的 scheme 转换为 Alluxio 的 scheme，但这会带来的问题是对于其他的引擎（比如 spark），因为其本来就没有接入 Alluxio，会导致查询不可用。Dispatcher 是一套内部自研的服务，根据查询 HDFS 的数据量、目前引擎的负载情况等将用户提交的 query 路由到相应的引擎进行执行。此问题已经在社区中有了相应的修复。
Presto查询优化
叫我小名
01-17 8204
简书同步发布：https://www.jianshu.com/p/f435ce79c966 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。查询语言是类ANSI SQL语句。笔者在多个项目中用到Presto做即席查询，总结了一些优化措施。 一、数据存储 合理设置分区 与Hive类似，Presto会根据元信息读取分区数据，合理的分区能减少P
大数据之数据湖Apache Hudi
happy_king_zi的博客
08-28 1707
上图中采用时间（小时）作为分区字段，从 10:00 开始陆续产生各种 commits，10:20 来了一条 9:00 的数据，该数据仍然可以落到 9:00 对应的分区，通过 timeline 直接消费 10:00 之后的增量更新（只消费有新 commits 的 group），那么这条延迟的数据仍然可以被消费到。因为流式引擎不会等到所有数据到齐之后再开始计算，所以有一个 watermark 的概念，当数据的时间小于 watermark 时，就会被丢弃，这样是无法对数据完整度有一个绝对的报障。
基于 Apache Hudi 极致查询优化的探索实践
华为云官方博客
09-26 2476
本文主要介绍 Presto 如何更好的利用 Hudi 的数据布局、索引信息来加速点查性能。
Apache Hudi性能提升三倍的查询优化
Linux运维老纪的博客
07-31 1025
Apache Hudi v0.10引入了多项新特性和改进，‌旨在优化数据存储和查询性能。‌ 在数据存储和查询性能方面，‌Apache Hudi v0.10支持基于空间填充曲线排序的索引，‌包括Z-Ordering和Hilbert Curves，‌这有助于优化查询性能。‌通过启用包含单个数据文件的列级统计信息（‌如最小值、‌最大值、‌空值数等）‌，‌允许对不包含值的文件进行快速裁剪，‌从而提高查询效率，本章详细介绍Apache Hudi v0.10。
Flink +hudi+presto 流程图.docx
04-29
Presto以其快速响应的查询性能和易用的SQL接口，成为数据分析人员进行复杂查询和报表生成的首选工具。 在Flink、Hudi和Presto的组合中，Flink负责实时处理和写入数据到Hudi，Hudi则存储和维护这些数据，保证数据的...
在华为云FusionInsight MRS架构下，如何通过优化Apache Hudi的数据布局和索引策略来提升Presto的查询性能？
最新发布
10-24
该资料详细介绍了Hudi在华为云上的实践和优化案例，有助于您理解如何在实际环境中运用数据布局和索引策略来提升Presto的查询性能。在掌握了基础知识之后，您可以进一步探索预聚合策略和统计信息的优化，以进一步提升...
超级重磅！Apache Hudi多模索引对查询优化高达30倍
Focus on Lakehouse
06-07 681
与许多其他事务数据系统一样，索引一直是 Apache Hudi 不可或缺的一部分，并且与普通表格式抽象不同。在这篇博客中，我们讨论了我们如何重新构想索引并在 Apache Hudi 0.11.0 版本中构建新的多模式索引，这是用于 Lakehouse 架构的首创高性能索引子系统，以优化查询和写入事务，尤其是对于大宽表而言。1. 为什么在 Hudi 中使用多模索引索引[1]...
hud.java_hudi性能测试 - xleesf的个人空间 - OSCHINA - 中文开源技术交流社区
weixin_39572316的博客
02-25 723
在本节中，我们将介绍一些有关Hudi插入更新、增量提取的实际性能数据，并将其与实现这些任务的其它传统工具进行比较。插入更新下面显示了从NoSQL数据库摄取获得的速度提升，这些速度提升数据是通过在写入时复制存储上的Hudi数据集上插入更新而获得的，数据集包括5个从小到大的表(相对于批量加载表)。 由于Hudi可以通过增量构建数据集，它也为更频繁地调度摄取提供了可能性，从而减少了延迟，并显著节省了总体...
查询数据不为空的数据_查询Hudi数据集
weixin_40005887的博客
12-06 555
欢迎关注微信公众号：ApacheHudi从概念上讲，Hudi物理存储一次数据到DFS上，同时在其上提供三个逻辑视图，如之前所述。 数据集同步到Hive Metastore后，它将提供由Hudi的自定义输入格式支持的Hive外部表。一旦提供了适当的Hudi捆绑包， 就可以通过Hive、Spark和Presto之类的常用查询引擎来查询数据集。具体来说，在写入过程中传递了两个由table name命名的...
Hudi最强指南 — Hudi的安装部署（Linux）
2301_78038072的博客
03-26 5694
随着大数据技术的飞速发展，企业对于数据处理的效率和实时性的要求也越来越高。Hadoop作为大数据领域的领军技术，长久以来一直承载着海量数据的存储和处理任务。然而，传统的Hadoop数据模型在处理更新和删除操作时的局限性，使得它难以满足实时数据湖等复杂场景的需求。正是在这样的背景下，Hudi应运而生。
prestosql和prestodb对hudi的支持分析
王飞活的博客
08-04 1523
prestosql与prestodb的支持程度 在hudi的官网上，并没有介绍prestosql与hudi的集成对接，其实只要将hudi的jar包放到prestosql的connector的目录下，prestosql也是能正常对接的，但是 prestosql对hudi的对接不如prestodb完善，两者的对接情况如下： COW的实时视图 COW的增量查询 MOR的实时视图 MOR的增量查询 MOR的读优化视图 prestosql Y N ...
大数据Hadoop之——Apache Hudi 与 Presto/Trino集成
匠人精神，持之以恒！
10-30 2251
Apache Hudi是一个快速增长的数据湖存储系统，可帮助组织构建和管理PB级数据湖。Hudi通过引入诸如升序、删除和增量查询之类的原语，将流式处理引入到批处理式大数据中。这些功能有助于在统一服务层上更快、更新鲜的数据。Hudi表可以存储在Hadoop分布式文件系统（HDFS）或云存储上，并与流行的查询引擎（如Presto（Trino）、Apache Hive、ApacheSpark和Apache Impala）集成良好。鉴于Hudi开创了一种新的模型，它不仅仅是将文件写入到一个更受管理的存储层，该存储层
Apache Hudi和Presto的前世今生
xleesf
09-22 678
一篇由Apache Hudi PMC Bhavani Sudha Saktheeswaran和AWS Presto团队工程师Brandon Scheller分享Apache Hudi和Presto集成的一篇文章。 1. 概述 Apache Hudi 是一个快速迭代的数据湖存储系统，可以帮助企业构建和管理PB级数据湖，Hudi通过引入upserts、deletes和增量查询等原语将流式能力带入了批处理。这些特性使得统一服务层可提供更快、更新鲜的数据。Hudi表可存储在Hadoop兼容的分布式文件系统或者云上对
数据湖之Hudi（3）：Apache Hudi 基本介绍
yang_shibiao的博客
02-13 3243
目录 0. 相关文章链接 1. 什么是Hudi 2. Hudi在大数据中的位置 3. Hudi的特性 4. Hudi各版本发布时间 0. 相关文章链接 大数据基础知识点 文章汇总 1. 什么是Hudi Apache Hudi（发音“hoodie”）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表，事务，高效upserts /删除，高级索引，流式摄取服务，数据群集/压缩优化以及并发，同时保持数据以开源文件格式保留。 ...
Flink CDC + Hudi + Hive + Presto 构建实时数据湖最佳实践
张伟的专栏
06-07 1433
每个文件组包含多个切片，其中每个切片包含在某个提交 / 压缩即时时间生成的基本列文件 (parquet 文件)，以及自生成基本文件以来对基本文件的插入 / 更新的一组日志文件 (*.log)。Hudi 采用 MVCC 设计,其中压缩操作会将日志和基本文件合并成新的文件片，清理操作会将未使用/较旧的文件片删除来回收 DFS 上的空间。说明：目前还没写入测试数据，Hudi 目录只生成一些状态标记文件，还未生成分区目录以及 .log 和 .parquet 数据文件，具体含义可见 Hudi 官方文档。
Apache Hudi vs Delta Lake：透明TPC-DS Lakehouse性能基准
jh035的博客
11-27 817
最近几周，人们对比较 Hudi、Delta 和 Iceberg 的表现越来越感兴趣。我们认为社区应该得到更透明和可重复的分析。我们想就如何执行和呈现这些基准、它们带来什么价值以及我们应该如何解释它们添加我们的观点。
Hudi数据湖技术之快速体验
赵广陆
04-24 709
目录 1 编译 Hudi 1.1 第一步、Maven 安装 1.2 第二步、下载源码包 1.3 第三步、添加Maven镜像 1.4 第四步、执行编译命令 1.5 第五步、Hudi CLI测试 2 环境准备 2.1 安装HDFS 2.2 安装Spark 3.x 3 spark-shell 使用 3.1 启动spark-shell 3.2 模拟数据 3.3 插入数据 3.4 查询数据 3.5 表数据结构 3.5.1 .hoodie文件 3.5.2 数据文件 3.6 Hudi 数据存储概述 3.6.1 Metad
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值