HBase的读写原理

写操作流程:

  1. 客户端通过zookeeper的调度,向Hregion Server发送写数据的请求,在HRegion中写数据。
  2. 数据写入Hregion的Menstore,直到Menstore达到预定的阈值。
  3. Menstore中数据会被冲成成一个StoreFile
  4. 随着storeFile的数量的增多,当达到一定的阈值会触发紧凑合并操作,将多个StoreFile合成一个StoreFile,同时把版本更新和数据删除
  5. storeFile通过不断的紧凑合并,慢慢越来越多的StoreFile
  6. 单个StoreFile大小超过一定的阈值,触发拆分操作,把当前Hregion Spilled成两个新的HRegion,老的Hregion就会下线,新生成的2个HRegion会被Hmaster分配到其他的HregionServer上,使得1个Hregion的压力分到2个Hregion上。

 

读操作流程:

  1. 客户端访问动物园管理员,查看ROOT表,获取META表的信息
  2. 从META表中查找,获取存放目标数据的HRegion信息,从而找到HRegionServer的信息
  3. 通过HRegionServer找到相应的数据信息
  4. HRegionServer的内存分为两部分:
  1. 那种MEMSTORE
  2. bolckcache,那种MEMSTORE主要用于写操作,blockcache主要用于读操作,请求先到的memstore读取数据,再到blockcache中读取,再没有就会到StoreFile中读取,并把读取的数据放入到blockcache中。

总结:

1.Client访问Hbase上的数据的过程并不需要master参与(寻址访问zookeeper和region Server)

2.掌握仅仅维护表和区域的元数据信息,负载比较低。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值