HBase Scanner扫描器

原创 2016年08月29日 22:05:05

HBase在扫描数据的时候,使用scanner表扫描器
扫描器缓存
hbase.client.scanner.caching配置项可以设置hbasescanner一次从服务器端抓取的数据条数,默认情况下一次一条。通过将其设置成一个合理的值,可以减少scan过程中next()的开销时间,代价是scanner需要通过客户端的内存来维持这些被cache的行记录
三个地方可以配置:
在hbse的conf配置文件中进行配置
通过调用htable.setscannercaching(int scannercaching)进行配置
通过调用scan.setcaching(int caching)进行配置
三者的优先级越来越高

public void hbaseScan(String tableName){
    Scan scan = new Scan();
    scan.setCaching(1000);//取1000条记录
    HTableInterface table = hConn.getTble(tableName);
    ResultScanner scanner=table.getScanner(scan);
    for(Result res:scanner){
        format(res);
    }   
}
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

HBase的Scan实现源码分析

我们从接口InternalScanner开始分析,实现该接口的类表示其是使用于HBase内部的scanner,不暴露给客户端使用。实现了这个接口的类如下所示: KeyValueHeap、StoreSc...

HBase扫描器与过滤器

扫描器HBase在扫描数据的时候,使用scanner表扫描器。 HTable通过一个Scan实例,调用getScanner(scan)来获取扫描器。可以配置扫描起止位以及其他的过滤条件。 通过迭代...

HBase源码学习 客户端scan过程

申明:以下代码均来自HBase-1.0.1.1HTable tb = new HTable(conf,"test"); Scan scan = new Scan(); scan.addColumn((...

HBase Scan过程解析

转载自:http://zlx19900228.iteye.com/blog/1178233 (1) 卖家导出订单部分:  卖家导出订单部分的表结构设计:  Rowkey: seller_id+ ...
  • lxf310
  • lxf310
  • 2014年12月16日 21:52
  • 4937

HBase总结(十一)hbase Java API 介绍及使用示例

问题导读 1.java api与数据模型是如何对应的? 2.那两个类与HBase数据库有关系? 3.HTable可以用来做什么? 4.如何添加列族、列、列值? 5.hbase查询有几种方式? ...

一个HBase客户端超时问题的排查

最近处理了一个客户端scan超时问题,记录在此,希望能够帮助到遇到同样问题的同学。 问题的错误堆栈如下面所示: java.lang.RuntimeException: org.apache...

HBase Scanner

一个region有一个regionscanner,一个regionscanner维持一个 PriorityQueue,包含storescanner; 一个storescanner维持一个 Prior...

Hbase之遍历获取数据

转载:[Hbase之遍历获取数据] http://www.cnblogs.com/similarface/p/5799460.htmlimport org.apache.hadoop.conf.Co...

HBase读取数据卡住长时间不返回的原因分析

这些天做HBase,但是遇到Hbase连接上之后读取数据的时候,一直卡在那儿,程序既不报错也不结束,让我好生纠结,困扰我一整天。现在问题终于解决,现在写了一段Demo代码,具体如下:public st...
  • eff666
  • eff666
  • 2016年07月22日 19:54
  • 4147

由hbase.client.scanner.caching参数引发的血案

环境描述 Hadoop 0.20.203.0 Hbase 0.90.3 Hive 0.80.1   问题描述      前几天,在HIVE执行SQL查询的时候出现了一个很奇怪的问题...
  • rzhzhz
  • rzhzhz
  • 2012年05月04日 23:19
  • 5917
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:HBase Scanner扫描器
举报原因:
原因补充:

(最多只允许输入30个字)