HBase不同版本中对WAL日志的处理

我们知道,HBase在处理写流程(put操作)时,RegionServer会先将数据Append到WAL日志中,在写入MemStore,这时就返回客户端通知成功了。但是,在不同的版本中(HBase 1.6和Hbase 2.x),处理WAL的具体逻辑有很大区别。因此,网络中不同的文章可能会让读者感到迷惑,我们不妨从源码中一探究竟。

HBase 2.3.2的流程:
1、对要操作的数据添加行锁(List(RowKey)),并添加读锁(这个锁是HRegion类里的可重入读写锁)
2、对数据更新timestamp字段(如果提交put请求的数据没有指定timestamp,HBase客户端会给一个Long.MAX_VALUE作为时间戳的值,RegionServer也会根据这个值判断是否对时间戳更新)
3、Append the WALEdits to WAL and sync。将WALEdits追加到WAL日志,并进行同步。其中append和同步是一个生产消费模型,append是生产者,将数据写入RingBuffer中,RingBuffer是一个线程安全的消息队列。(采用了disruptor框架,该框架是LMAX开发的高性能队列,Storm中也有使用)
在这里插入图片描述
数据append成功后,会有一个txid,然后执行sync()。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值