hudi系列-索引机制

最新推荐文章于 2024-04-11 16:45:26 发布
最新推荐文章于 2024-04-11 16:45:26 发布
阅读量2.1k 收藏
点赞数
分类专栏： hudi系列 文章标签： 大数据 hudi 索引
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/czmacd/article/details/128528377
版权
本文介绍了Hudi的索引机制，包括索引类型如INMEMORY、HBASE、SIMPLE等，以及全局与非全局索引的区别。在Flink写入Hudi时，主要支持BUCKET和FLINK_STATE两种索引方式。文章还讨论了基于Flink的索引优化，对比了BUCKET和FLINK_STATE索引的优缺点。
摘要由CSDN通过智能技术生成

1. 索引机制

hudi的索引机制是为了加速upsert/delete操作，它维护着（分区 + key）-> fileID之间的映射关系，所以可以减少对非必要base文件的合并

key是指索引key，可以是表的任意字段，在全局索引中常用主键key作为索引

在这里插入图片描述

1.1 索引类型

当前hudi支持以下类型的索引：

  • INMEMORY：基于内存hashmap，为全局索引
  • HBASE：基于外部存储hbase做索引，天然是全局索引
  • SIMPLE, GLOBAL_SIMPLE：简单索引，将更新的key与base文件提取的key值进行join，分为全局和非全局
  • BLOOM, GLOBAL_BLOOM：基于布隆过滤器，存在假阳性问题，分为全局和非全局
  • BUCKET：由字节跳动为了弥补bloom不足而贡献的分桶索引，非全局
  • FLINK_STATE：基于flink状态的全局索引

1.2 全局与非全局索引

  • 全局索引：必需存在表级别的唯一的索引key，每个索引key在所有分区中都只能唯一对
了解本专栏 订阅专栏 解锁全文 超级会员免费看
矛始
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
hudi-hadoop-mr-bundle-0.11.0.jar
06-28
hudi-hadoop-mr-bundle-0.11.0.jar 配合文档
hudi的索引机制以及使用场景
从大数据到人工智能的博客
10-04 3059
Apache Hudi 使用索引来定位更新/删除所属的文件组。 对于 Copy-On-Write 表，通过避免需要连接整个数据集来确定要重写哪些文件，这可以实现快速的 upsert/delete 操作。 对于 Merge-On-Read 表，这种设计允许 Hudi 限制任何给定基本文件需要合并的记录数量。 具体来说，给定的基本文件只需要针对属于该基本文件一部分的记录的更新进行合并。 相比之下，没有索引组件的设计（例如：Apache Hive ACID）可能最终必须根据所有传入的更新/删除记录合并所有基本文件
Hudi的7种索引
一名程序猿的博客
03-03 2344
Hudi的7种索引
Hudi的核心概念 —— 索引（Index）
weixin_45417821的博客
01-09 2078
事实上，有范围裁剪功能的布隆索引是最佳的解决方案。从 index 的维护成本和写入性能的角度考虑，维护一个 global index 的难度更大，对写入性能的影响也更大，所以需要 non-global index。上图为例，白色是基本文件，黄色是更新数据，有了索引机制，可以做到：避免读取不需要的文件、避免更新不必要的文件、无需将更新数据与历史数据做分布式关联，只需要在 File Group 内做合并。全局索引：全局索引在全表的所有分区范围下强制要求键的唯一性，也就是确保对给定的键有且只有一个对应的记录。
Hudi的Index类型
一见
05-10 777
是 hoodiekey 到文件组（File Group）或者文件 ID（File ID）的映射，hoodiekey 由 recordkey 和 partitionpath 两部分组成。
hudi介绍和使用
lijian972的博客
02-14 7213
hudi的入门和使用
Hudi 索引的选择策略
修破立生
02-27 537
本文通过介绍三种不同的使用场景的特点，并在各自场景下选择的 Hudi 索引的类型。包括的场景有：事实表更新，事件表去重，维度表的更新。索引类型有BLOOM,SIMPLE,HBase。
hudi-spark-bundle.jar
04-13
hudi:0.10.1 spark:3.1.3 scala:2.12 hadoop:3.1.0 hive:3.1.0
hudi-spark3.2-bundle_2.12-0.11.0.jar
06-28
配合文档
hudi-flink1.17-bundle-0.14.0-sources.jar
12-22
这是Flink1.17、hudi 0.14 、hadoop 3.3.4、hive 3.1.3、Spark 3.2.3 编译出来的版本
hudi-spark3-bundle_2.12-0.10.0-SNAPSHOT.jar
11-27
spark读取hudi，hudi版本0.10
Hudi系列20: Bucket索引
只是甲的博客
05-17 654
从 0.11 开始支持默认的flink 流式 写入使用 state 存储索引信息: primary key 到 fileID 的映射关系。当数据量比较大的时候， state的存储开销可能成为瓶颈， bucket 索引通过固定的 hash 策略， 将相同 key 的数据分配到同一个 fileGroup 中，避免了索引的存储和查询开销。
Hudi-基本概念(时间轴、文件布局、索引、表类型、查询类型、数据写、数据读、Compaction)
迷雾总会解
02-13 1878
写入过程充分优化了文件存储的小文件问题，Copy On Write 写会一直将一个 bucket （FileGroup）的 base 文件写到设定的阈值大小才会划分新的 bucket；Merge On Read 写在同一个 bucket 中，log file 也是一直 append 直到大小超过设定的阈值 roll over。
【Hudi】Hudi 核心知识点详解（一）
书山有路，学海无涯。记录成长，追逐梦想
12-10 2728
在 Flink 实时流中，经常会通过 Flink CDC 插件读取 Mysql 数据，然后写入 Hudi 中。所以在执行上述操作时，需要了解 Hudi 的基本概念以及操作原理，这样在近实时往 Hudi 中写数据时，遇到报错问题，才能及时处理。
Hudi Flink-索引机制-index
叫我刘三青
10-08 344
Hudi 系列文章在这个这里查看 https://github.com/leosanqing/big-data-study索引(Index)是 Hudi 最重要的特性之一,也是区别于之前传统数仓 Hive 的重要特点, 是实现 Time Travel, Update/Delete,事务 等重要特性的基础。
【Hudi】索引
JH_Zhai的博客
02-22 445
假设在数据分布最糟糕的情况下，需要被更新的 100 条数据分布在 100 个文件中。在有了索引之后，更新的数据可以快速被定位到对应的 File Group，以下面的官方的示意图为例，在传统 Hive 数仓的场景下，如果需要对一个分区数据做更新，整个更新过程会涉及三个很重的操作。假设一个 Hive 分区存在 100,000 条记录，分布在 400 个文件中，我们需要更新其中的 100 条数据。索引，其依赖布隆过滤器来判断记录存在与否，当记录存在时，会读取实际文件进行二次判断，以便修正布隆过滤器带来的误差。
hudi索引
不甚了然的博客
02-27 1004
索引实现的基类，核心方法是两个：tagLocation和updateLocation后续有不同的子类实现具体的索引。
Hudi 的索引机制和类型
修破立生
02-26 2299
本文介绍了 Hudi 的索引机制、索引类型（Bloom/Simple/HBase）、以及 Global索引和 Non-Global 索引
Hudi原理学习
最新发布
weixin_56039103的博客
04-11 1235
第四步：如果是 update 消息，写对应的 file group + file slice，直接 append 最新的 log file（如果碰巧是当前最小的小文件，会 merge base file，生成新的 file slice）log file 大小达到阈值会 roll over 一个新的。第三步：如果有小的 base file 文件，merge base file，生成新的 FileSlice + base file，否则直接写新的 FileSlice + base file；
使用hudi-hive-sync 将hudi同步到hive
05-17
Hudi是一种用于在Apache Hadoop上构建实时数据湖的库，而Hive是一种数据仓库工具，它可以将数据存储在Hadoop分布式文件系统（HDFS）中，并提供一种SQL查询语言来查询和分析数据。Hudi提供了一个hudi-hive-sync工具，可以将Hudi表同步到Hive表中。 以下是将Hudi表同步到Hive表的步骤： 1. 确保您已经安装了Hive和Hadoop，并且已经配置了它们。 2. 使用Hudi创建一个表。可以使用以下命令： ``` $ java -jar hudi-cli-<version>.jar hudicli> connect --jdbc-url jdbc:hive2://localhost:10000 hudicli> create --table-type COPY_ON_WRITE --table-name hudi_table --table-schema "`id` string, `name` string, `age` int" --record-key id --precombine-key name ``` 3. 使用Hive创建一个表，用于存储Hudi表的数据。可以使用以下命令： ``` CREATE EXTERNAL TABLE hive_table ( id string, name string, age int ) STORED BY 'org.apache.hudi.hadoop.hive.HoodieHiveStorageHandler' LOCATION '/path/to/hudi_table'; ``` 4. 使用以下命令将Hudi表同步到Hive表中： ``` $ java -jar hudi-cli-<version>.jar hudicli> connect --jdbc-url jdbc:hive2://localhost:10000 hudicli> sync --hoodie-table-name hudi_table --hive-database default --hive-table-name hive_table ``` 这将在Hive中创建一个名为hive_table的表，并将Hudi表中的数据复制到该表中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值