HBase之架构分析

1.HBase架构组成

1.1Zookeeper

• 存放整个HBase集群的元数据以及集群的状态信息
• 实现HMaster主从节点的failover（故障转移）

1.2HMaster

说明：有关HBase的负载均衡可以参考HBase学习之负载均衡（balance）

• 管理RegionServer，为RegionServer分配HRegion，实现负载均衡
• 处理schema更新请求（例如namespace和table的增删改、column familiy的增删改）

1.3HRegionServer

• Region server维护HMaster分配给它的region
• 处理对这些region的IO请求，例如读写HDFS，管理Table中的数据

1.4HLog（WAL）

说明：有关WAL相关知识可以参考Hbase WAL

• Client通过HRegionServer进行Put、Delete操作的时候，会先将操作数据写入日志文件中
• 当HBase宕机后可以通过WAL日志进行数据的恢复
• HBase1.0之前，一个HRegionServer只有一个WAL日志，所以一个RegionServer的所有WAL写入都是串行的，存在一定性能问题。HBase1.0之后实现了WAL并行写，不再是以一个RegionServer为单位写，而是以HRegion为单位写

1.4HRegion

• Table到HRegionServer的最小存储单元
• 一个Table可能有多个HRegion，一个HRegion由一个或多个Store组成。

1.5Store

• Table中的每个Column Family对应一个HRegion的Store
• 每个Store由一个MemStore和0个或多个StoreFile（HFile）组成

1.6MemStore

• 写缓存，当所有的数据写入WAL日志后，才会将数据写入到MemStore中，当MemStore数据量达到一定阈值后，会flush到StoreFile（HFile）中
• 数据写入到MemStore时会对数据进行排序

1.7StoreFile（HFile）

• HFile的一层封装，用于存储HBase的数据。在HFile中的数据是按RowKey、Column Family、Column排序，对相同的Cell则按timestamp倒序排序