hbase集群 数据写入_hbase数据写入流程深度解析

2019/3/28 星期四

hbase数据写入流程深度解析

在看此链接之前，可以写查看 hbase读写请求详细解释 中的写请求流程 https://blog.51cto.com/12445535/2356085

简介：

hbase设置之初就是为了应对大量的写多读少的应用，他出色的写性能，在一个100台RS的集群可以轻松地支撑每天10T的写入量。

hbase的写数据流程大体分为3部分

1、客户端的写入流程

2、服务端的写入流程

3、wal的工作原理

我们先回顾一下hbase写数据流程

写请求处理过程小结

1 client 向region server 提交写请求

2 region server 找到目标region

3 region 检查数据是否与schema 一致

4 如果客户端没有指定版本，则获取当前系统时间作为数据版本

5 将更新写入WAL log

6 将更新写入Memstore

7 判断Memstore 的是否需要flush 为Store 文件。

第一部分：客户端的写入流程

客户端流程解析：

1、用户提交put请求后，HBase客户端会将put请求添加到本地buffer中，符合一定条件就会通过AsyncProcess异步批量提交。

HBase默认设置autoflush=true，表示put请求直接会提交给服务器进行处理；

2、用户可以设置autoflush=false，这样的话put请求会首先放到本地buffer，等到本地buffer大小超过一定阈值(默认为2M，可以通过配置文件配置)之后才会提