Apache Hudi 0.6.0版本重磅发布

最新推荐文章于 2024-02-07 15:42:59 发布
置顶 最新推荐文章于 2024-02-07 15:42:59 发布
阅读量305 收藏
点赞数
分类专栏： ApacheHudi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45914070/article/details/108233096
版权
Apache Hudi 0.6.0版本发布，包括下载信息、迁移指南和重点特性介绍。新版本改进了写入端性能，支持对已有Parquet表进行迁移，提供异步Compaction和并发执行Cleaning。查询端优化了SNAPSHOT查询，增加了缓存以提升查询效率。易用性方面，新增多种工具和回调钩子，同时引入了自定义指标报告者。
摘要由CSDN通过智能技术生成

1. 下载信息

2. 迁移指南

  • 如果您从0.5.3以前的版本迁移至0.6.0，请仔细核对每个版本的迁移指南；
  • 0.6.0版本从基于list的rollback策略变更为了基于marker文件的rollback策略，为进行平稳迁移，会在hoodie.properties文件中配置一个新属性hoodie.table.version；无论何时使用Hudi表新版本，如1（从0.6.0以前迁移到0.6.0），将会自动进行升级，并且只会对Hudi表升级一次，升级后hoodie.table.version属性将会自动更新。
  • 类似也提供了一个降级命令行工具(-downgrade)，如用户想从0.6.0版本回退到之前的版本，此时hoodie.table.version将会从1变为0。
  • 如果你在bulkInsert() RDD API中使用了自定义partitioner，注意0.6.0版本中该接口变为了BulkInsertPartitioner，需要对你的实现做适配。

3. 重点特性

3.1 写入端改进

  • 对已有Parquet表进行迁移：支持通过Spark Datasource/DeltaStreamer引导已存在的Parquet表迁移至Hudi，同时可通过Hive，Spar
最低0.47元/天 解锁文章
xleesf
关注
专栏目录
Apache Hudi 入门学习总结
主要分享大数据相关的知识，如Spark、Hudi
05-16 1652
前言 学习和使用Hudi近一年了，由于之前忙于工作和学习，没时间总结，现在从头开始总结一下，先从入门开始 Hudi 概念 Apache Hudi 是一个支持插入、更新、删除的增量数据湖处理框架，有两种表类型：COW和MOR，可以自动合并小文件，Hudi自己管理元数据，元数据目录为.hoodie, 具体的概念可以查看官网https://hudi.apache.org/cn/docs/0.9.0/overview Hudi 学习 Hudi 官网 https://hudi.apache.org/cn/docs/
Hudi系列17:离线批量导入
只是甲的博客
02-13 1427
Hudi离线批量写入
数据湖之Hudi（16）：Apache Hudi 中数据写操作流程
yang_shibiao的博客
03-03 1945
目录 0. 相关文章链接 1. 概述 2. upsert写流程 3. insert写流程 0. 相关文章链接 大数据基础知识点 文章汇总 1. 概述 在Hudi数据湖框架中支持三种方式写入数据：UPSERT（插入更新）、INSERT（插入）和BULK INSERT（写排序） UPSERT：默认行为，数据先通过 index 打标(INSERT/UPDATE)，有一些启发式算法决定消息的组织以优化文件的大小 INSERT：跳过 index，写入效率更高 BULK_INSERT：写排序，对大
「Hudi系列」Hudi查询&写入&常见问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
05-17 5994
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文教给我，你们专心刷题和面试阅读本文前必读：1. 「Apache Hudi系列」核心概念与架构设计总结2. 「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成3. Apache Hudi 0.11 版本重磅发布，新特性速览!1.Hudi基本概念 ：Apache H...
Hudi（14）：Hudi集成Flink之核心参数设置
yang_shibiao的博客
01-30 1623
目录0. 相关文章链接1. 去重参数2. 并发参数2.1. 参数说明2.2. 案例演示3. 压缩参数3.1. 参数说明3.2. 案例演示4. 文件大小4.1. 参数说明4.2. 案例演示5. Hadoop 参数Flink可配参数官网地址：All Configurations | Apache Hudi Hudi文章汇总 通过如下语法设置主键： 名称说明默认值备注hoodie.datasource.write.recordkey.field主键字段--支持主键语法 PRIMARY
Hudi（7）：Hudi集成Spark之spark-sql方式
yang_shibiao的博客
01-02 2716
默认情况下，如果提供了preCombineKey，则insert into的写操作类型为upsert，否则使用insert。hoodie.sql.bulk.insert.enable 和 hoodie.sql.insert.mode。不需要指定模式和非分区列（如果存在）之外的任何属性，Hudi可以自动识别模式和配置。同hoodie.datasource.write.table.type。为了提高向hudi表加载数据的性能，CTAS使用批量插入作为写操作。表的主键名，多个字段用逗号分隔。
重磅！Vertica集成Apache Hudi指南.doc
07-10
Vertica 集成 Apache Hudi 指南 Vertica 是一个高性能的分析型数据库，而 Apache Hudi 是一种变更数据捕获 (CDC) 工具，两者的集成可以实现高效的数据摄取和处理。本文将详细介绍如何将 Vertica 集成 Apache Hudi...
Apache Hudi重磅特性解读之全局索引
xleesf
07-06 1593
1. 摘要 Hudi表允许多种类型操作，包括非常常用的upsert，当然为支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。 当前，Hudi支持分区和非分区的数据集。分区数据集是将一组文件（数据）放在称为分区的桶中的数据集。一个Hudi数据集可能由N个分区和M个文件组成，这种组织结构也非常方便hive/presto/spark等引擎根据分区字段过滤以返回有限的数据量。而分区的值绝大多数情况下是从数据中得来，这个要求一旦一条记录映射到分区/桶，那么这个映射应该 a) 被Hudi知道；b) 在Hud
数据湖和Apache Iceberg，Apache Hudi，Delta Lake
flywind800的博客
06-17 841
数据湖这个词目前已经流行开来，逐步被数据相关的从业者接受，可能还有很多人不太清楚它和Hadoop，Hive，Spark这些大数据系统的区别，简单说数据湖是个业务概念，主要是为了区别传统数仓这个概念的。 提到数据湖，很多人会和Hudi，Iceberg, Delta Lake三个词联系起来，甚至觉得不用到上面三个技术的系统不是数据湖。这是不对的，数据湖是个业务概念，Hudi、Iceberg这些只是实现技术之一，而且仅用到Hudi、IceBerg或Delta Lake无法实现数据湖.........
【Hudi】参数
最新发布
JH_Zhai的博客
02-07 192
官方文档 https://hudi.apache.org/docs/configurations/#FLINK_SQL。
hudi系列-数据写入方式及使用场景
1032851561的博客
03-14 2224
hudi支持多种数据写入方式：insert、bulk_insert、upsert、boostrap，我们可以根据数据本身属性(append-only或upsert)来选择insert和upsert方式，同时也支持对历史数据的高效同步并嫁接到实时流程。
Hudi 的写操作类型
修破立生
03-03 2011
本文介绍了 Hudi 的写操作类型，包括 UPSERT, INSERT, BULK_INSERT, DELETE, 并介绍了相关的应用场景
Apache Hudi异步Compaction部署方式汇总
xleesf
09-15 1190
本篇文章对执行异步Compaction的不同部署模型一探究竟。 1. Compaction 对于Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异步compaction生成新版本的列式文件。Merge-On-Read表可减少数据摄入延迟，因而进行不阻塞摄入的异步Compaction很有意义。 2. 异步Compaction 异步Compaction会进行如下两个步骤 调度Compaction：由摄取作业完成，在这一步，Hudi扫描分区
Apache Hudi初探(二)(与flink的结合)--flink写hudi的操作(JobManager端的提交操作)
monkeyboy_tech的博客
08-21 2199
在Apache Hudi初探(一)(与flink的结合)中，我们提到了,这个操作真正写hudi是在方法下的,具体分析一下写入的过程。对于这个代码片段，我们主要看 这个对象(这个操作是Flink框架的操作): 最主要的算子为,其中最主要的操作是由来完成的： 操作，主要是做一些初始化的操作 获取当前的task的索引下标，用来向发送event给,之后 StreamWriteOperatorCoordinator() 进行处理，后续会说到StreamWriteOperatorCoordinator 初始化hu
Hudi（20）：Hudi集成Flink之可以离线进行的操作
yang_shibiao的博客
02-07 1546
因为压缩操作比较耗费内存，和写流程放在同一个 pipeline，在数据量比较大的时候（10w+/s qps），容易干扰写流程，此时采用离线定时任务的方式执行 compaction 任务更稳定。的操作，当写流程还在持续写入表数据的时候，开启这个参数有丢失查询数据的风险，所以开启该参数一定要保证当前没有任务往表里写数据。的操作，当写流程还在持续写入表数据的时候，开启这个参数有丢失查询数据的风险，所以开启该参数一定要保证当前没有任务往表里写数据。执行压缩任务的顺序，默认是从最新的压缩。模式下的执行间隔，默认。
Bloom Filter在Hudi中的应用
xleesf
11-22 429
介绍 Bloom Filter可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，主要缺点是存在一定的误判率：当其判断元素存在时，实际上元素可能并不存在。而当判定不存在时，则元素一定不存在，Bloom Filter在对精确度要求不太严格的大数据量场景下运用十分广泛。 引入 为何要引入Bloom Filter？这是Hudi为加快数据upsert采用的一种解决方案，...
Flink CDC使用Java DataStream API写入Hudi，实时同步业务库
u014519384的博客
07-07 2797
需要源码或者进Flink微信交流群的请+V ：zoomake1024在上一篇文章介绍了使用Flink SQL消费Kafka实时入湖的方法，全程都是SQL实现的，但是当处理逻辑复杂时，SQL并不是那么灵活，此时通过编码的方式可以更好的驾驭整个框架。本篇介绍下，如何使用Java DataStream API以编码的方式，通过Flink CDC同步MySQL数据到Hudi，在整个过程中遇到了很多问题，会一并给出解决方案。主要是参考Hudi源码中的HoodieFlinkStreamer来实现的，首先说明POM文件.
CDH6.x环境下Apache Hudi的版本适配与改造指南
为了在CDH6.x上成功部署和运行Apache Hudi，开发者需要仔细检查并更新所有相关组件的版本，同时针对API的变更进行代码适配。这涉及到深入理解各个组件的工作原理和接口，以确保所有功能都能正确无误地运行。完成这些...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值