Hbase流程

一.写流程

1.Client客户端(javaAPI或shell)通过zookeeper的meta-region-server节点、 Hbase中的 hbsae:meta表定位到region所在hregionserver。
当客户端向hbase中put数据时,其向zookeeper通信,通过zookeeper的meta-region-server节点返回对应的meta地址,zookeeper通过meta返回的的地址,对对应的节点上的Hbase中的Hbase:meta表读取数据,将meta的值返回给Client。
2.Client通过meta返回的值找到region以及region所在的HRegionServer。
3.Client向所在的HRegionServer发送请求,将数据写到找出的region中,同时找到rk的范围。
4.HRegionServer将数据写入HLog,即缓存,这样为了防止主机突然宕机造成数据丢失(数据的持久化和恢复),当HLog确认数据已经写入HDFS中,HLog会自动清除数据。
5.当HRegionServer将数据写入内存后,每一个memstore对应一个列族,当一个region的size达到128MB时,HBase会将内存中的数据输出为有序的HFile文件(根据rk,版本,列名排序,这里已经跟列族无关了,因为整个store都是一个列族)
6.给Client返回写成功的信息
7.HFile文件达到阀值128MB的时候会写入磁盘,同时将内存中的数据删除。
8.当数据块(HFlie)达到4块,Hmaster会将数据块加载到本地,进行合并,当合并的数据达到512MB时,进行拆分,将拆分后的regin分配到不同的Hreg
  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值