HBase读写流程详解

HBase架构图

1. Region Server
   Region Server 为 Region 的管理者，其实现类为 HRegionServer，主要作用如下:
   对于数据的操作：get, put, delete；
   对于 Region 的操作：splitRegion、compactRegion。
2. Master
   Master 是所有 Region Server 的管理者，其实现类为 HMaster，主要作用如下：
   对于表的操作：create, delete, alter
   对于 RegionServer的操作：分配 regions到每个RegionServer，监控每个 RegionServer
   的状态，负载均衡和故障转移。
3. Zookeeper
   HBase 通过 Zookeeper 来做 Master 的高可用、RegionServer 的监控、元数据的入口以及
   集群配置的维护等工作。
4. HDFS
   HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用的支持。
5. StoreFile
   保存实际数据的物理文件，StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有
   一个或多个 StoreFile（HFile），数据在每个 StoreFile 中都是有序的。
6. MemStore
   写缓存，由于 HFile 中的数据要求是有序的，所以数据是先存储在 MemStore 中，排好
   序后，等到达刷写时机才会刷写到 HFile，每次刷写都会形成一个新的 HFile。
7. WAL
   由于数据要经 MemStore 排序后才能刷写到 HFile，但把数据保存在内存中会有很高的
   概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做 Write-Ahead logfile 的文件
   中，然后再写入 MemStore 中。所以在系统出现故障的时候，数据可以通过这个日志文件重
   建。

HBase 写流程

写流程：

1. Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server。

2. 访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespace:table/rowkey，
   查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以
   及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问。

3. 与目标 Region Server 进行通讯；

4. 将数据顺序写入（追加）到 WAL；

5. 将数据写入对应的 MemStore，数据会在 MemStore 进行排序；

6. 向客户端发送 ack(HBase写数据比读数据快的根本原因,写数据只要存到内存就返回结果（真正永久保存到磁盘要等到刷写机制，而读需要把内存和磁盘文件拿出来比较时间戳，多了读磁盘的过程，所以慢)；

7. 等达到 MemStore 的刷写时机后，将数据刷写到 HFile。

HBase 读流程

读流程

1. Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server。
2. 访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespace:table/rowkey，
   查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以
   及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问。
3. 与目标 Region Server 进行通讯；
4. 分别在 Block Cache（读缓存），MemStore 和 Store File（HFile）中查询目标数据，并将
   查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本（time stamp）或者不
   同的类型（Put/Delete）。
5. 将从文件中查询到的数据块（Block，HFile 数据存储单元，默认大小为 64KB）缓存到
   Block Cache。
6. 将合并后的最终结果返回给客户端。