HBase架构原理
HBase架构原理
一.HBase架构
HBase是Master/slaves架构,一般是一个HMaster,多个HRegionServer进程
从上图中能看出 HBase 是由 Client、ZooKeeper、HMaster、HRegionServer、HDFS 等几个组件组成
1.Client:客户端
可以是HBase Shell,Java API客户端,RestAPI等
Client是用来访问数据库的,它不仅提供了访问接口,还维护了对应的缓存(cache)来加速HBase的访问。Client端的缓存主要是缓存Region的位置信息,减少获取元数据的时间。当Client没有缓存的时候(第一次请求),会加载Region的位置信息到Client端,后面直接使用cache中的信息,如果出现重试,则会重新获取Region1的位置信息,更新Client端的cache
2.ZooKeeper
HBase通过ZooKeeper来做HMaster的高可用,HRegionServer的监控,元数据的入口以及集群配置的维护等工作
具体工作:
(1)通过 ZoopKeeper 来保证集群中只有 1 个 HMaster 在运行,如果 HMaster异常,会通过竞争机制产生新的 HMaster 提供服务。
(2)通过 ZoopKeeper 来监控 HRegionServer 的状态,当 HRegionSevrer 有异常的时候,通过 Master 会收到 ZooKeeper 消息通知 HRegionServer 上下线的信息。
(3)通过 ZoopKeeper 存储元数据的统一入口地址
3.HMaster
(1)监控HRegionServer,处理HRegionServer故障转移,当某个HRegionServer挂掉时,ZooKeeper会将分配在该HRegionServer上的HRegion分配到其他HRegionServer上进行管理。
(2)HRegion分裂后,负责新的HRegion的分配
(3)处理元数据的变更,比如对表的添加,修改,删除等操作
(4)在空闲时间进行数据的负载均衡,主要就是在HRegionServer建迁移HRegion,达到负载均衡
(5)通过ZooKeeper发布自己的位置给客户端
4.HRegionServer
HRegionServer直接负责用户的读写请求,是真正的“干活”的节点。
功能:
(1)负责和底层HDFS的交互,存储数据到HDFS,HBase是依托于HDFS的NoSQL数据库,数据会存储在HDFS上。
(2&