HBase数据结构之 跳跃表、LSM、布隆过滤器

LSM树

HBase中的LSM树

用多路归并实现LSM树的文件合并

  随着写入的增加，内存数据会不断地刷新到磁盘上。最终磁盘上的数据文件会越来越多。如果用户有读取请求，则需要将大量的磁盘文件进行多路归并，之后才能读取到所需的数据。
  LSM树的索引实际上是将写入操作全部转化为了磁盘的顺序写入，提高了写入性能。但是，这种设计是以牺牲一定的读操作性能为代价的，因为读取的时候，需要归并多个文件来获取满足条件的KV，非常消耗磁盘IO。所以HBase会通过compaction来合并小文件，降低文件个数，来提高读取效率。

用跳表实现LSM的内存部分

  HBase中对LSM树的实现，是在内存中用一个ConcurrentSkipListMap保存数据。数据写入时，直接写入MemStore中。随着不断写入，一旦内存占用超过一定的阈值时，就把内存部分的数据导出，形成一个有序的数据文件，存储在磁盘上。内存中的实现，采用了跳跃表（SkipList）的数据结构。

跳跃表是一种能高效实现插入、删除、查找的内存数据结构，这些操作的期望复杂度都是O(logN)。跳跃表的优势在于比红黑树或其他的二分查找树的实现简单很多；并发场景下加锁粒度更小，提高并发性能。<