Hudi中的每条记录都由主键唯一标识,主键是记录所属的一对记录键和分区路径。使用主键,Hudi可以允许快速更新和删除记录。应该明智地选择分区方案,因为它可能是摄取和查询延迟的决定因素。
一般来说,Hudi支持分区索引和全局索引。对于具有分区索引(这是最常用的)的数据集,每条记录都由一对记录键和分区路径唯一标识。但对于具有全局索引的数据集,每条记录仅由记录键惟一标识。分区之间不会有任何重复的记录键。
键生成器
Hudi提供了几个开箱即用的主键生成器,用户可以根据自己的需要使用它们,同时还提供了一个可插拔的实现,供用户实现和使用自己的KeyGenerator。这篇博客介绍了所有可以使用的不同类型的主键生成器。
这里是KeyGenerator在Hudi的接口,供您参考。
在深入研究不同类型的主键生成器之前,让我们先看看需要为主键生成器设置的一些常见配置。
未完,待续