Hbase读写流程

读数据流程
1)HRegionServer保存着mate表以及表数据,要访问表数据,首先Client先去访问Zookeeper,从Zookeeper里面获取meta表所在的位置信息,即找到这个mate表在哪个HRegionServer上保存着。
2)接着Client通过刚才获取到的HRegionServer的IP来访问meta表所在的HRegionServer,从而读取到meta,进而获取到meta表中存放的元数据。
3)Client通过元数据中存储的信息,访问对应的HRegionServer,然后扫描所在HRegionServer的metastore和storefile来查询数据。
4)最后HRegionServer把查询到的数据响应给Client。

写数据流程
1)Client也是先访问Zookeeper,找到meta表,并获取meta表信息。
2)确定当前要写入的数据所对应的RegionServer服务器和Region。
3)Client向该RegionServer服务器发起写入数据请求,然后RegionServer收到请求并回应。
4)Client先把数据写入到HLog,以防止数据丢失。
5)然后将数据写入到memstore。
6)如果HLog和memstore均写入成功则这条数据写入成功。在此过程中,如果memstore达到阈值,会把memstore中的数据flush到sroreFile中。
7)当storeFile越来越多,会触发compact合并操作,把过多的storeFile合并成一个大的storeFile。当storeFile越来越大,Region也会越来越大,达到阈值后,会触发split操作,将Region一分为二。

提示
因为内存空间是有限的,所以说溢写过程必定伴随着大量的小文件产生。

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值