我们知道,HBase在处理写流程(put操作)时,RegionServer会先将数据Append到WAL日志中,在写入MemStore,这时就返回客户端通知成功了。但是,在不同的版本中(HBase 1.6和Hbase 2.x),处理WAL的具体逻辑有很大区别。因此,网络中不同的文章可能会让读者感到迷惑,我们不妨从源码中一探究竟。
HBase 2.3.2的流程:
1、对要操作的数据添加行锁(List(RowKey)),并添加读锁(这个锁是HRegion类里的可重入读写锁)
2、对数据更新timestamp字段(如果提交put请求的数据没有指定timestamp,HBase客户端会给一个Long.MAX_VALUE作为时间戳的值,RegionServer也会根据这个值判断是否对时间戳更新)
3、Append the WALEdits to WAL and sync。将WALEdits追加到WAL日志,并进行同步。其中append和同步是一个生产消费模型,append是生产者,将数据写入RingBuffer中,RingBuffer是一个线程安全的消息队列。(采用了disruptor框架,该框架是LMAX开发的高性能队列,Storm中也有使用)
数据append成功后,会有一个txid,然后执行sync()。