Hbase内存数据结构跳跃表

Hbase内存中的数据怎么存储的？

• 首先数据在内存中是有序的，按字典顺序进行排序，如：100，110，111
• 内存中的数据结构为上图：跳跃表

跳跃表

概念：

• 多层链表组成，每一层链表都有直接向下一层跳跃的连接处
• 上层链表均为下层链表的子集
• 每一层链表都是有序的

跳跃表具有链表的有序性又解决了链表的查询复杂度高的问题。从O(n) 降到 log(n)

查询：

• 首先从左上角开始，在最底层的链表中查找
• 如果遇到比自己小的，继续在本层链表中搜索
• 如果遇到比自己大的，说明后面不可能存储在查找的值了，跳跃到下一层
• 重复上面动作直到搜索结束

插入：

• 查找到需要插入的位置
• 随机生成一个随机数**(这个位置有点太随意了，有待考证)**
• 如果这个随机数比当前总层数大，提高层数并在每一层相应的位置插入元素
• 反之只需插入元素即可

在Hbase MemoryStore是怎么使用跳跃表的

hbase中使用java的ConcurrentSkipListMap进行跳跃表的实现，它是一个有序的Map

hbase的kv是怎么存入这个Map

• 首先chunk管理器提前申请好一个chunk，它是一个2M的内存
• 如果chunk不够就会继续申请
• 然后将kv生成一个cell对象，将它存入Map
• 当memstore被flush为hfile中时，chunk管理会回收chunk放入池子中以备下次使用

为什么要使用chunk

chunk的中文意思为 大块 ，个人理解它就是一个统一管理内存，减少内存碎片，并且使用chuck pool减少申请内存的动作，提高写入的速度。
如果不使用chunk统一管理，那么在吞吐量高的时候就会出现大量对象被Minor GC 到老年代，而这些数据大小都参差不齐的，容易造成碎片。