HFile V2介绍[0.92到0.98之前的版本]

最新推荐文章于 2021-02-23 16:06:24 发布

修鹏李

最新推荐文章于 2021-02-23 16:06:24 发布

阅读量3w

点赞数

分类专栏： hbase

本文链接：https://blog.csdn.net/map_lixiupeng/article/details/40861791

版权

HFile V2在HBase 0.92版本后引入，解决HFile V1内存消耗问题。通过多级索引（根索引和叶索引）和分块BloomFilter，提高效率和内存利用率。查找过程涉及根索引的二分查找和数据块的遍历。DataBlock存储KV数据，HFileIndex分为单级和多级索引，由HFileBlockIndex类管理。Meta信息和BloomFilter使用单级索引。文件结构包括Scanned Block、Non-Scanned Block、Load-on-open和trailer。

摘要由CSDN通过智能技术生成

在hbase 0.92版本中，为了改进在大数据存储下的效率，HFile做了改变。HFile V1的主要问题是，你需要加载(load)所有的单片索引和BloomFilter到内存中，这会导致每台服务器有数GB的内存被块索引消耗掉，这对域服务器的可扩展性和性能有显著的负面影响。此外，由于直到加载完所有块索引数据之后，才能认为域启动完成，因此这样的块索引大小会明显地拖慢域的启动速度。为了解决这个问题，v2引入了多级索引[一个根索引块和多个叶块,只有根索引(索引数据块)必须一直保存在内存中,叶索引以块的级别存储，这意味着它是否在内存中出现取决于块是否在内存中出现。叶索引仅在加载块时被加载到内存中，并且在块移出时被移出内存。此外，叶级别索引的结构化方式允许在不进行反序列化的情况下，对键进行二叉搜索]和分块BloomFilter。HFile v2改进了速度，内存和缓存利用率。