Apache Hudi的元数据表用于提升大数据读写操作的性能，避免文件系统中'listfiles'操作导致的性能瓶颈。随着文件数量增加，'list'操作的时延并未线性增长，开启元数据表后，即使在大量文件场景下，读取时延仍能保持在较低水平。开启元数据表需在读写两端配置参数'hudi.metadata.enable'。
使用元数据表的原因
Apache Hudi 元数据表使得读取/写入操作可以获得更好的性能。使用元数据表的主要目的是为了避免 “list files” 的操作。
没有元数据表的支持，在读取和写入数据时，通过文件的 “list” 操作来获取当前文件系统的视图。当数据数据集非常大时，列出所有的文件会成为性能的瓶颈，使用元数据表会预先维护文件系统的视图，如果所有文件的列表，可以避免递归地进行"list files"操作。
开启元数据表情况下，进行TPCDS benchmark p50 “list” 操作的时延测试：
| 文件的个数 | 100 | 1K | 10K | 100K |
|---|---|---|---|---|
| 时延 | 50ms | 131ms | 1062ms | 9932ms |
从上表可以看出，“list” 操作的时延并没有随着文件个数的增加而线性地增长，即使在有大量文件的情况下，每次读取的时延也能保持在100 -500ms。并且由于 timeline server 可以缓存一部分元数据信息（目前仅支持 writer），性能可以进一步达到10ms的级别。
开启Hudi 元数据表
Hudi 元数据表默认是没有开启的，通过配置以下参数可开启：
hoodie.metadata.enable
该参数需要在读写两端同时开启
扫一扫
681
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
