[初探HBase]HBase架构以及读写流程

HBase简单架构

Master

RegionServer的管理者，主要作用：

• 对表进行操作(如:create delete alter)
• 对RegionServer进行操作(即分配Region到每个RegionServer中，并且监控RegionServer中的状态。以及对RedionServer的监控，负载均衡，故障转移)

RegionServer

region的管理者，主要的作用两个：

• 对数据的操作 （get put delete）
• 对region的操作（splitRegion，CompactRegion）

Zookeeper

Master通过Zookeeper进行实现高可用，以及对RegionServer的监控，并提供对元数据进行处理的入口

HDFS

为HBase提供底层的数据存储服务，同时为HBase提供HA服务。

HBase的局部架构

StoreFile

保存实际数据的物理文件，以HFile的形式存储在HDFS中，同一个store中包含多个StoreFile

MemStore

用于对写数据进行缓存，由于HFile最终的文件要求数据有序，所以数据是需要先在MemStore中排好序，等到了写缓存的时机，将数据写入HFile没每次写入对应一个HFile

MemStore的刷写时机

1. 当某个memstore的大小达到了 hbase.hregion.memstore.flush.size（默认值128M），其所在region的所有memstore都会刷写。
   当memstore的大小达到了 hbase.hregion.memstore.flush.size（默认值128M）* hbase.hregion.memstore.block.multiplier （默认值4）时，会阻止继续往该 memstore写数据。

2. 当region server中memstore的总大小达到java_heapsize * hbase.regionserver.global.memstore.size（默认值0.4）* hbase.regionserver.global.memstore.size.lower.limit（默认值0.95）（也就是0.38），region会按照其所有memstore的大小顺序（由大到小）依次进行刷写。直到region server中所有memstore的总大小减小到上述值下。当region server中memstore的总大小达到
   java_heapsize * hbase.regionserver.global.memstore.size（默认值0.4）时，会阻止继续往所有的memstore写数据。

3. 到达自动刷写的时间，也会触发memstore flush。自动刷新的时间间隔由该属性进行配置hbase.regionserver.optionalcacheflushinterval（默认1小时）。

4. 当WAL文件的数量超过hbase.regionserver.max.logs，region会按照时间顺序依次进行刷写，直到WAL文件数量减小到hbase.regionserver.max.logs以下（该属性名已经废弃，现无需手动设置，最大值为32）。

WAL (write ahead logfile)

由于MemStore存在缓存，数据不是特别安全，为了保证数据安全性，需要对写入操作进行记录，防止数据在内存中丢失，该部分数据也会放在HDFS中，名为Hlog,用于保存写操作。。。（相当于HDFS中的edit操作）

BlockCache

每次查询的数据会缓存到BlockCache中，方便下次查询。

HBase读流程

• Client先访问Zookeeper获取meta表的RegionServer位置信息
• Client访问对应的RegionServer获取meta表，根据要查询的namespace，表名，row_key信息，找到对应的Region信息，再根据对应的Region找到RegionServer信息。最后去具体的RegionServer中找具体的region和store
• HRegionServer从MemStore查找数据，返回给客户端。如没有，再从BlockCache上读取，
• 如果BlockCache还没有，则遍历storefile文件，查找数据，将之后查询到的数据写入到BlockCache中后，再返回给客户端
  

HBase写流程

• Client先访问ZK获取meta表位于哪个RS中
• Client访问对应的RS获取meta表，再根据读请求中提供的namespace/table_name/row_key信息查询目标数据位于哪个region中，并将位置信息缓存到MetaCache中
• Client访问可执行put操作的RS，并将数据分别写入到WAL和MemStore各一份
• 将数据写入memStore并进行排序
• MemStore达到与之后吧数据flush到磁盘上，生成StoreFile文件
• 删除HLog中的历史数据

百度文库中的这位大佬从源码的角度对HBase的讲解可能更详细

HBase读取流程（源码角度） - 百度文库 (baidu.com)