hbase集群 数据写入_HBase - 数据写入流程解析

本文由 网易云发布。

作者：范欣欣

本篇文章仅限内部分享，如需转载，请联系网易获取授权。

众所周知，HBase默认适用于写多读少的应用，正是依赖于它相当出色的写入性能：一个100台RS的集群可以轻松地支撑每天10T 的写入量。当然，为了支持更高吞吐量的写入，HBase还在不断地进行优化和修正，这篇文章结合0.98版本的源码全面地分析HBase的写入流程，全文分为三个部分，第一部分介绍客户端的写入流程，第二部分介绍服务器端的写入流程，最后再重点分析WAL的工作原理(注：从服务器端的角度理解，HBase写入分为两个阶段，第一阶段数据会被写入memstore，并且会执行WAL的写入；第二阶段会将memstore的中的数据集中flush到磁盘，本文主要集中分析第一阶段的相关细节)。

客户端流程解析

(1)用户提交put请求后，HBase客户端会将put请求添加到本地buffer中，符合一定条件就会通过AsyncProcess异步批量提交。HBase默认设置autoflush=true，表示put请求直接会提交给服务器进行处理；用户可以设置autoflush=false，这样的话put请求会首先放到本地buffer，等到本地buffer大小超过一定阈值(默认为2M，可以通过配置文件配置)之后才会提交。很显然，后者采用group commit机制提交请求，可以极大地提升写入性能，但是因为没有保护机制，如果客户端崩溃的话会导致提交的请求丢失。

(2)在提交之前，HBase会在元数据表.meta.中根据rowkey找到它们归属的region server࿰