HBase 基本概念

HBase 基本概念

HBase集群中的角色

  1. 一个或者多个主节点,HMaster;
  2. 多个从节点,HRegionServer;
  3. HBase依赖项,Zookeeper;
    在这里插入图片描述
    组成部件说明:

Client

  • 使用HBase RPC机制与HMaster和HRegionServer进行通信
  • Client与HMaster进行管理类操作
  • Client与HRegionServer进行数据读写类操作

Zookeeper

  • Zookeeper Quorum存储-ROOT-表地址、HMaster地址
  • HRegionServer把自己以Ephemeral方式注册到Zookeeper中,HMaster随时感知各个HRegionServer的健康状况
  • Zookeeper避免HMaster单点问题

Zookeeper的主要作用:客户端首先联系ZooKeeper子集群(quorum)(一个由ZooKeeper节点组成的单独集群)查找行健。上述过程是通过ZooKeeper获取含有-ROOT-的region服务器名(主机名)来完成的。通过含有-ROOT-的region服务器可以查询到含有.META.表中对应的region服务器名,其中包含请求的行健信息。这两处的主要内容都被缓存下来了,并且都只查询一次。最终,通过查询.META服务器来获取客户端查询的行健数据所在region的服务器名。一旦知道了数据的实际位置,即region的位置,HBase会缓存这次查询的信息,同时直接联系管理实际数据的HRegionServer。所以,之后客户端可以通过缓存信息很好地定位所需的数据位置,而不用再次查找.META.表。

HMaster

HMaster没有单点问题,HBase可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个Master在运行
主要负责Table和Region的管理工作:

  • 管理用户对表的增删改查操作
  • 管理HRegionServer的负载均衡,调整Region分布
  • Region Split后,负责新Region的分布
  • 在HRegionServer停机后,负责失效HRegionServer上Region迁移

HRegionServer

HBase中最核心的模块,主要负责响应用户I/O请求,向HDFS文件系统中读写
  
  在这里插入图片描述

HRegionServer管理一系列HRegion对象;

  • 每个HRegion对应Table中一个Region,HRegion由多个HStore组成;
  • 每个HStore对应Table中一个Column Family的存储;
  • Column Family就是一个集中的存储单元,故将具有相同IO特性的Column放在一个Column Family会更高效。

可以看到,client访问hbase上的数据并不需要master参与(寻址访问zookeeper和region server,数据读写访问region server),master仅仅维护table和region的元数据信息(table的元数据信息保存在zookeeper上),负载很低。HRegionServer存取一个子表时,会创建一个HRegion对象,然后对表的每个列族创建一个Store实例,每个Store都会有一个MemStore和0个或多个StoreFile与之对应,每个StoreFile都会对应一个HFile,HFile就是实际的存储文件。因此,一个HRegion(表)有多少个列族就有多少个Store。一个HRegionServer会有多个HRegion和一个HLog。

参考

  • https://www.cnblogs.com/swordfall/p/8737328.html
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值