hbase LSM树个人理解

写这些只是记录自己平时看资料的成果，无关其他。
先记录下B树和B+树
B树（官方定义）：
1、根节点至少有两个子节点
2、每个节点有M-1个key，并且以升序排列
3、位于M-1和M key的子节点的值位于M-1 和M key对应的Value之间
4、其它节点至少有M/2个子节点。

2-3树比较好理解，是最简单的B树
将数据项放入2-3树节点中的规则是:
(1)2-节点有两个孩子，必含一个数据项，其查找关键字大于左孩子的查找关键字，而小于右孩子的查找关键字。
(2)3-节点有三个孩子 ，必含两个数据项，其查找关键字S和L满足下列关系:S大于左孩子的查找关键字，而小于中孩子的查找关键字;L大于中孩子的查找关键字，而小于右孩子的查找关键字。
(3)叶子可以包含一个或两个数据项。

看懂2-3树，再来看B树就简单多了。
B树存储结构要结合硬盘存储寻址来理解，为什么二叉树不能用来存储，磁盘读取数据主要耗时是查找，二叉树随着树的高度增加，寻址次数增多，查找效率低
B树多叉平衡查找树
根节点和叶子节点之间的节点有关键字，其下的叶子节点在两个关键字之间，即M个关键字对应M-1个叶子节点

B树的高度：
若B树某一非叶子节点包含N个关键字，则此非叶子节点含有N+1个孩子结点，而所有的叶子结点都在第I层，我们可以得出：
因为根至少有两个孩子，因此第2层至少有两个结点。
除根和叶子外，其它结点至少有┌m/2┐个孩子，
因此在第3层至少有2*┌m/2┐个结点，
在第4层至少有2*(┌m/2┐^2)个结点，
在第 I 层至少有2*(┌m/2┐^(l-2) )个结点，于是有： N+1 ≥ 2*┌m/2┐^l-2；
考虑第L层的结点个数为N+1，那么2*(┌m/2┐^(l-2)）≤N+1，也就是L层的最少结点数刚好达到N+1个，即： I≤ log┌m/2┐((N+1)/2 )+2；
　　所以
当B树包含N个关键字时，B树的最大高度为l-1（因为计算B树高度时，叶结点所在层不计算在内），即：l - 1 = log┌m/2┐((N+1)/2 )+1。

B树就到这里了。
B+树在B数的基础上，理解起来就简单多了
1、所有的叶子结点中包含了全部关键字的信息，及指向含有这些关键字记录的指针，且叶子结点本身依关键字的大小自小而大的顺序链接。 (而B 树的叶子节点并没有包括全部需要查找的信息)
2、.所有的非终端结点可以看成是索引部分，结点中仅含有其子树根结点中最大（或最小）关键字。 (而B 树的非终节点也包含需要查找的有效信息)
上面这两句话也就是说 B+树只有最底层的节点才存储数据，并且数据从下到大排列，中间的叶子节点只包含关键词，不含数据项。

B树插入
插入一个元素时，首先在B树中是否存在，如果不存在，即在叶子结点处结束，然后在叶子结点中插入该新的元素，注意：如果叶子结点空间足够，这里需要向右移动该叶子结点中大于新插入关键字的元素，如果空间满了以致没有足够的空间去添加新的元素，则将该结点进行“分裂”，将一半数量的关键字元素分裂到新的其相邻右结点中，中间关键字元素上移到父结点中（当然，如果父结点空间满了，也同样需要“分裂”操作），而且当结点中关键元素向右移动了，相关的指针也需要向右移。如果在根结点插入新元素，空间满了，则进行分裂操作，这样原来的根结点中的中间关键字元素向上移动到新的根结点中，因此导致树的高度增加一层。
这段话配合上面那张动态图，理解起来不难。

通过以上介绍，大致将B树，B+树，B*树总结如下：
B树：有序数组+平衡多叉树；
B+树：有序数组链表+平衡多叉树；
B*树：一棵丰满的B+树。

延伸阅读R树（高维空间存储），此处不记录了。

下面说LSM树了，
对数据的修改增量保持在内存中，达到指定的大小限制后将这些修改操作批量写入磁盘，不过读取的时候稍微麻烦，需要合并磁盘中历史数据和内存中最近修改操作，所以写入性能大大提升，读取时可能需要先看是否命中内存，否则需要访问较多的磁盘文件。极端的说，基于LSM树实现的HBase的写性能比Mysql高了一个数量级，读性能低了一个数量级。

HBase存储设计思路：
hbase在实现中，是把整个内存在一定阈值后，flush到disk中，形成一个file，这个file的存储也就是一个小的B+树，因为hbase一般是部署在hdfs上，hdfs不支持对文件的update操作，所以hbase这么整体内存flush，而不是和磁盘中的小树merge update，这个设计也就能讲通了。内存flush到磁盘上的小树，定期也会合并成一个大树。