【 Hudi】数据湖框架选型很纠结？一文了解Apache Hudi核心优势

英文原文：https://hudi.apache.org/blog/hudi-indexing-mechanisms/

Apache Hudi使用索引来定位更删操作所在的文件组。对于Copy-On-Write表，索引能加快更删的操作，因为避免了通过连接整个数据集来决定哪些文件需要重写。对于Merge-On-Read表，这个设计，对于任意给定的基文件，能限定要与其合并的记录数量。具体地，一个给定的基文件只需要和其所包含的记录的更新合并。相比之下，没有索引的设计（比如Apache Hive ACID[1]），可能会导致需要把所有基文件与所有更删操作合并。

从高角度看，索引把一个记录的键加一个可选的分区路径映射到存储上的文件组ID（更多细节参考这里[2]）。在写入过程中，我们查找这个映射然后把更删操作导向基文件附带的日志文件（MOR表），或者导向最新的需要被合并的基文件（COW表）。索引也使得Hudi可以根据记录键来规定一些唯一性的限制。

记录更新（黄色块）和基文件（白色块）合并消耗的对比

目前Hudi已经支持了几种不同的索引机制，并且在工具库