大数据hudi之集成flink:Bucket 索引

浊酒南街

已于 2023-09-05 20:26:05 修改

阅读量327

点赞数

分类专栏： # Hudi 文章标签：大数据 flink 数据库

于 2023-09-05 20:25:27 首次发布

本文链接：https://blog.csdn.net/weixin_43597208/article/details/132699730

版权

Hudi 专栏收录该内容

35 篇文章 0 订阅

订阅专栏

从 0.11 开始支持
默认的 flink 流式写入使用 state 存储索引信息：primary key 到 fileId 的映射关系。当数据量比较大的时候，state的存储开销可能成为瓶颈，bucket 索引通过固定的 hash 策略，将相同 key 的数据分配到同一个 fileGroup 中，避免了索引的存储和查询开销。
1）WITH参数

名称	Required	默认值	说明
index.type	false	FLINK_STATE	设置 BUCKET 开启 Bucket 索引功能
hoodie.bucket.index.hash.field	false	主键	可以设置成主键的子集
hoodie.bucket.index.num.buckets	false	4	默认每个 partition 的 bucket 数，当前设置后则不可再变更

2）和 state 索引的对比：
（1）bucket index 没有 state 的存储计算开销，性能较好
（2）bucket index 无法扩 buckets，state index 则可以依据文件的大小动态扩容
（3）bucket index 不支持跨 partition 的变更(如果输入是 cdc 流则没有这个限制)，state index 没有限制

浊酒南街

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
大数据hudi之集成flink:Bucket 索引

当数据量比较大的时候，state的存储开销可能成为瓶颈，bucket 索引通过固定的 hash 策略，将相同 key 的数据分配到同一个 fileGroup 中，避免了索引的存储和查询开销。（3）bucket index 不支持跨 partition 的变更(如果输入是 cdc 流则没有这个限制)，state index 没有限制。（1）bucket index 没有 state 的存储计算开销，性能较好。从 0.11 开始支持。
复制链接

扫一扫

专栏目录