presto查询hudi异常解决

已于 2022-10-30 14:37:16 修改
阅读量856 收藏 1
点赞数 1
分类专栏： Hudi 文章标签： Hudi Presto
于 2022-05-10 19:21:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/124695340
版权
本文记录了在使用Presto查询Hudi时遇到的异常情况，由于HDFS块没有与Presto在同一节点上导致问题。通过将HDFS副本数改为1来复现问题，然后修改Presto的`hdfs-site.xml`配置文件，添加特定配置并重启服务以解决异常。此外，还分享了异常定位和解决过程。
摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

记录一个presto查询hudi的异常的解决办法，本人目前对presto还不是很熟，只是在使用过程中遇到了问题，记录一下异常解决方法以及过程

异常

2021-12-22T17:29:55.440+0800
了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
专栏目录
订阅专栏
Hudi0.10.0-Flink1.13.3-HIVE1.1.0关于hive查询异常总结
sinat_28332637的博客
12-09 1859
本文重点解决hudi在同步到hive1.x后，RT表无法查询的问题，阅读本文存在门槛，小白请先参考下面的文章进行部署 Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践 部署完成之后需要使用hive，相信您已经将hudi-hadoop-mr-bundle-0.10.0-rc2.jar放到hive的auxlib下，并且已经给hive增加如下配置后重启hive 然后我们登录shell，查看同步过来的hive表 如果你已经得到ro,rt结尾的表，那么可以进.
提升50%！Presto如何提升Hudi表查询性能？
xleesf
05-09 920
分享一篇关于使用Hudi Clustering来优化Presto查询性能的talk talk主要分为如下几个部分 演讲者背景介绍 Apache Hudi介绍 数据湖演进和用例说明 Hudi Clustering介绍 Clustering性能和使用 未来工作 该talk的演讲者为Nishith Agarwal和Satish Kotha，其中Nishith Agarwal是Apache Hudi PMC成员，在Uber任职团队Leader，Satish Kotha是Apache Hudi Committ
presto操作异常
song_quan_的博客
06-01 281
1.问题
查询数据不为空的数据_查询Hudi数据集
weixin_40005887的博客
12-06 543
欢迎关注微信公众号：ApacheHudi从概念上讲，Hudi物理存储一次数据到DFS上，同时在其上提供三个逻辑视图，如之前所述。 数据集同步到Hive Metastore后，它将提供由Hudi的自定义输入格式支持的Hive外部表。一旦提供了适当的Hudi捆绑包， 就可以通过Hive、Spark和Presto之类的常用查询引擎来查询数据集。具体来说，在写入过程中传递了两个由table name命名的...
Presto查询Hive无数据解决方法
百看不如一RUN
01-26 2274
1、是否使用了TEZ引擎 2、是否配置好了presto 如果是TEZ引擎，则加上一条配置即可 在hive.properties中增加 hive.recursive-directories=true
prestosql和prestodb对hudi的支持分析
王飞活的博客
08-04 1511
prestosql与prestodb的支持程度 在hudi的官网上，并没有介绍prestosql与hudi的集成对接，其实只要将hudi的jar包放到prestosql的connector的目录下，prestosql也是能正常对接的，但是 prestosql对hudi的对接不如prestodb完善，两者的对接情况如下： COW的实时视图 COW的增量查询 MOR的实时视图 MOR的增量查询 MOR的读优化视图 prestosql Y N ...
Hudi事务机制
jyjiao2016的博客
03-14 543
Hudi和Delta Lake等数据湖项目类似，最初主要是针对业务数据经常发生改动但是数据仓库更新操作效率较为低下的问题而设计的，是一个处于计算引擎（Spark/Flink/Presto等)和大数据文件系统(HDFS/S3)之间的一个存储引擎层。随着大数据业务的快速发展，当前数据湖技术栈与数据仓库（MPP）整合起来构成了湖仓一体的架构，该架构可以兼顾海量结构化/非结构化数据的存储、加工和各类数据分析请求（离线/实时/交互式等）。
基于flink&hudi批流一体技术
最新发布
weixin_44687655的博客
04-21 1191
Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。Hudi 用于管理的数据库层上构建具有增量数据管道的流式数据湖，同时针对湖引擎和常规批处理进行了优化。简言之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DFS数据集在分钟级的时延内支持变更，也支持下游系统对这个数据集的增量处理。
Delta Lake 和 Apache Hudi 两种数据湖产品全方面对比
过往记忆大数据
12-24 4137
Delta Lake 是数砖公司在2017年10月推出来的一个项目，并于2019年4月24日在美国旧金山召开的 Spark+AI Summit 2019 会上开源的一个存储层。它是 Da...
Flink +hudi+presto 流程图.docx
04-29
Flink +hudi+presto 流程图.docx 自己实现后画的一个流程图，便于理解
使用presto查询同步到hive的hudi数据
从大数据到人工智能的博客
09-27 1984
要完成如下任务，请确保已经使用其他方法将hudi数据同步到hive中。 如果没有同步hive数据，可参考文章：使用flink SQL Client将mysql数据写入到hudi并同步到hive，并且，以下内容中的presto查询，即是基于上述参考文章所同步的hive表进行查询的，建议可先阅读上述参考文章。 以下presto安装以单节点为例。 presto 0.261下载 下载presto-server和presto-cli mkdir /data mkdir /data/presto-cli cd /dat
Apache Hudi和Presto的前世今生
xleesf
09-22 671
一篇由Apache Hudi PMC Bhavani Sudha Saktheeswaran和AWS Presto团队工程师Brandon Scheller分享Apache Hudi和Presto集成的一篇文章。 1. 概述 Apache Hudi 是一个快速迭代的数据湖存储系统，可以帮助企业构建和管理PB级数据湖，Hudi通过引入upserts、deletes和增量查询等原语将流式能力带入了批处理。这些特性使得统一服务层可提供更快、更新鲜的数据。Hudi表可存储在Hadoop兼容的分布式文件系统或者云上对
大数据Hadoop之——Apache Hudi 与 Presto/Trino集成
匠人精神，持之以恒！
10-30 2229
Apache Hudi是一个快速增长的数据湖存储系统，可帮助组织构建和管理PB级数据湖。Hudi通过引入诸如升序、删除和增量查询之类的原语，将流式处理引入到批处理式大数据中。这些功能有助于在统一服务层上更快、更新鲜的数据。Hudi表可以存储在Hadoop分布式文件系统（HDFS）或云存储上，并与流行的查询引擎（如Presto（Trino）、Apache Hive、ApacheSpark和Apache Impala）集成良好。鉴于Hudi开创了一种新的模型，它不仅仅是将文件写入到一个更受管理的存储层，该存储层
Hudi系列23:常见问题
只是甲的博客
05-22 1414
索引 index 是判断数据重复的核心数据结构， index.state.ttl 设置了索引保存的时间， 默认 1.5 天，对于昌时间周期的更新， 比如更新一个月前的数据，需要将 index.state.ttl 调大(单位 天)， 设置小于0代表永久保存。Merge On Read 默认开启了异步的compaction，策略是 5 个 commits 压缩一次， 当条件满足会触发压缩任务，另外，压缩本身因为耗费资源，所以不一定能跟上写入效率，可能有滞后。，我还以为是提示错误，后来想想也不至于，然后想到。
Hudi集成Hive时的异常解决方法 java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
知行合一
10-31 3726
# Hudi 0.10.0 集成 Hive 时的异常及解决方法: java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
hive查询报错readDirect unsupported in RemoteBlockReader
qq_32068809的博客
10-17 496
readDirect unsupported in RemoteBlockReader
HDFS 读文件分析
CYZ412的博客
05-23 334
HDFS 读文件分析 标签： hdfs 文件 分析 | 发表时间：2014-04-18 04:31 | 作者：驰晨 分享到： 出处：http://ronxin999.blog.163.com UNIX Domain Socket   UNIX Domain Socket是在socket架构上发展起来的用于同一台主机的进程间通讯（IPC），它不需要经过网络协议栈，不需要打包...
presto本地开发，访问Hive报错：Unable to create input format org.apache.hadoop.mapred.TextInputFormat
lucyLee的博客
04-22 4148
1. 序言 出于工作需要，使用mac + IntelliJ IDEA，搭建了一个可以访问Hive的本地开发环境 执行查询时报错： Query 20220422_084012_00000_34axr failed: Unable to create input format org.apache.hadoop.mapred.TextInputFormat 查看日志，具体的报错信息如下： com.facebook.presto.spi.PrestoException: Unable to crea
presto 查询表结构
07-29
Presto查询表结构的方法是使用SHOW CREATE TABLE语句。例如，对于表名为table_name的表，可以使用以下语句来查看其创建的库结构： SHOW CREATE TABLE table_name; \[3\] 这将返回一个包含表结构的结果集，包括表的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值