kudu insert操作流程

在学习kudu时，有一句话引起了我的注意。kudu插入数据时相比HBase，需要额外走一次检索流程来判定对应主键的数据是否已经存在。因此，Kudu是牺牲了写性能来换取读取性能的提升。

刚开始的时候我没能理解这句话。因为在我看来kudu和hbase的插入数据流程非常相似。hbase是先插入memstore，再flush到storefile中。kudu也是先插入memrowset，再插入diskrowset。kudu和hbase都是基于lsm进行写入，都需要compaction操作。看起来几乎一模一样。

随着深入的学习，确实kudu相比hbase最大的区别就在于判定主键这一点。对于同一行数据，hbase可以反复put，但是kudu在insert同一行时会报错。这样做的原因是hbase的一行数据可能会flush到不同的storefile中，因此在扫描一行数据时必须要遍历所有的storefile。而kudu的做法可以保证一行数据一定就在某一个rowset中，找到这个rowset就不用再遍历其他的rowset。这是kudu如此设计的原因。

下面看一行数据具体的insert过程。

 

1.先根据分区策略路由到对应tablet，这个指的是建表时的分区定义。例如建表时指定1-10000在分区一，10000-20000在分区二，当插入15000时，就直接可以去访问分区二对应的tablet
2.查询主键范围。一个tablet可以切分成多个rowset，每个rowset会保存自己内部的最大最小值。一个tablet内部的多个rowset也可能会有交叉，经过rowset compaction之后才会变成有序的。因此在一个tablet内部仍然需要遍历所有rowset。访问每个rowset时，先看在不在内部实际最大最小值范围内，如果不在，则直接pass。比如一个rowset范围是12000-13000，则pass，另一个rowset范围是13000-16000，则需要进入下一步。
3.查询布隆过滤器。布隆过滤器是一种高效的数据结构，具体原理不在这里阐述。如果查询布隆过滤器不在这个rowset中，则可以pass，否则进入下一步。
4.查询b-树索引。rowset中针对主键维护了一个b-树索引。如果索引中存在该值，则报错。如果不存在，才可以将这行数据写入memrowset。

至此，是kudu的所有insert操作流程。可以看到kudu为了优化查询主键的速度，采用了多层优化，使得写入性能实际下降并不多。经过本机实测，其实kudu写入性能还略强于hbase。