Hbase 源码分析之 Regionserver上的 Get 全流程

当regionserver收到来自客户端的Get请求时,调用接口 
public Result get(byte[] regionName, Get get) 

... 
HRegion region = getRegion(regionName); 
return region.get(get, getLockFromId(get.getLockId())); 
... 


我们看HRegion.get接口,其首先会做family检测,保证Get中的family与Table的相符,然后通过RegionScanner.next来返回result 

而Scanner是Hbase读流程中的主要类,先做一个大概描述: 
从Scanner的scan范围来分有RegionScanner,StoreScanner,MemstoreScanner,HFileScanner;根据名称很好理解他们的作用,而他们之间的关系:RegionScanner由一个或多个StoreScanner组成,StoreScanner由MemstoreScanner和HFileScanner组成; 

再看RegionScanner类的构造形成过程: 
List<KeyValueScanner> scanners = new ArrayList<KeyValueScanner>(); 
for (Map.Entry<byte[], NavigableSet<byte[]>> entry : 
scan.getFamilyMap().entrySet()) 

        Store store = stores.get(entry.getKey()); 
        scanners.add(store.getScanner(scan, entry.getValue())); 

      this.storeHeap = new KeyValueHeap(scanners, comparator); 

这段代码为RegionScanner类内部属性storeHeap初始化,其内容就是Region下面所有StoreScanner的和;storeHeap是一个KeyValueHeap,从字面可以理解result就是从中获取的 

接着看store.getScanner(scan, entry.getValue())即StoreScanner类的构造形成过程: 
Java代码   收藏代码
  1. //StoreScanner is a scanner for both the memstore and the HStore files  
  2.  List<KeyValueScanner> scanners = new LinkedList<KeyValueScanner>();  
  3.     // First the store file scanners  
  4.     if (memOnly == false) {  
  5.       List<StoreFileScanner> sfScanners = StoreFileScanner  
  6.       .getScannersForStoreFiles(store.getStorefiles(), cacheBlocks, isGet);  
  7.   
  8.       // include only those scan files which pass all filters  
  9.       for (StoreFileScanner sfs : sfScanners) {  
  10.         if (sfs.shouldSeek(scan, columns)) {  
  11.           scanners.add(sfs);  
  12.         }  
  13.       }  
  14.     }  
  15.     // Then the memstore scanners  
  16.     if ((filesOnly == false) && (this.store.memstore.shouldSeek(scan))) {  
  17.         scanners.addAll(this.store.memstore.getScanners());  
  18.     }  
  19. return scanners;  

一般情况下StoreScanner中添加了HFileScanner和MemStoreScanner; 
StoreFileScanner的内部属性包括HFileScanner和Hfile.Reader,在添加前会根据timestamp,columns,bloomfilter过滤掉一部分 

Scanner构造完毕以后,当最上层的RegionScanner.next时,首先会先从MemStoreScanner中获取,如果没有或者版本数不足,则再从HfileScanner中获取,而从HfileScanner获取时,先查看是否在blockcache中,如果MISS则再从底层的HDFS中获取block,并根据设置决定是否将Block cache到LruBlockCache中
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值