hudi主键生成器

Hudi中的记录由主键唯一标识,主键包括记录键和分区路径,影响更新和删除效率。通常使用分区索引,每条记录由记录键和分区路径唯一标识。Hudi提供多种内置KeyGenerator,并支持自定义实现。博客将探讨可用的主键生成器类型及其配置选项。
摘要由CSDN通过智能技术生成

Hudi中的每条记录都由主键唯一标识,主键是记录所属的一对记录键和分区路径。使用主键,Hudi可以允许快速更新和删除记录。应该明智地选择分区方案,因为它可能是摄取和查询延迟的决定因素。

一般来说,Hudi支持分区索引和全局索引。对于具有分区索引(这是最常用的)的数据集,每条记录都由一对记录键和分区路径唯一标识。但对于具有全局索引的数据集,每条记录仅由记录键惟一标识。分区之间不会有任何重复的记录键。

键生成器

Hudi提供了几个开箱即用的主键生成器,用户可以根据自己的需要使用它们,同时还提供了一个可插拔的实现,供用户实现和使用自己的KeyGenerator。这篇博客介绍了所有可以使用的不同类型的主键生成器。

这里是KeyGenerator在Hudi的接口,供您参考。

在深入研究不同类型的主键生成器之前,让我们先看看需要为主键生成器设置的一些常见配置。

未完,待续

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值