关闭

HBase Scanner扫描器

标签: hbasescanner
1356人阅读 评论(0) 收藏 举报
分类:

HBase在扫描数据的时候,使用scanner表扫描器
扫描器缓存
hbase.client.scanner.caching配置项可以设置hbasescanner一次从服务器端抓取的数据条数,默认情况下一次一条。通过将其设置成一个合理的值,可以减少scan过程中next()的开销时间,代价是scanner需要通过客户端的内存来维持这些被cache的行记录
三个地方可以配置:
在hbse的conf配置文件中进行配置
通过调用htable.setscannercaching(int scannercaching)进行配置
通过调用scan.setcaching(int caching)进行配置
三者的优先级越来越高

public void hbaseScan(String tableName){
    Scan scan = new Scan();
    scan.setCaching(1000);//取1000条记录
    HTableInterface table = hConn.getTble(tableName);
    ResultScanner scanner=table.getScanner(scan);
    for(Result res:scanner){
        format(res);
    }   
}
0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

HBase扫描器与过滤器

扫描器HBase在扫描数据的时候,使用scanner表扫描器。 HTable通过一个Scan实例,调用getScanner(scan)来获取扫描器。可以配置扫描起止位以及其他的过滤条件。 通过迭代器返回查询结果,使用起来虽然不是很方便,不过并不复杂。但是这里有一点可能被忽略的地方,就是返回的sc...
  • scgaliguodong123_
  • scgaliguodong123_
  • 2015-06-30 19:10
  • 1911

HBase Scanner

一个region有一个regionscanner,一个regionscanner维持一个 PriorityQueue,包含storescanner; 一个storescanner维持一个 PriorityQueue,包含一个memstorescanner和多个storefile...
  • lijiajia81
  • lijiajia81
  • 2013-11-19 21:16
  • 2885

HBase Scan过程解析

转载自:http://zlx19900228.iteye.com/blog/1178233 (1) 卖家导出订单部分:  卖家导出订单部分的表结构设计:  Rowkey: seller_id+ gmt_create+ parent_id+biz_order_id ...
  • lxf310
  • lxf310
  • 2014-12-16 21:52
  • 5223

Hbase之遍历获取数据

转载:[Hbase之遍历获取数据] http://www.cnblogs.com/similarface/p/5799460.htmlimport org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseC...
  • a298804870
  • a298804870
  • 2016-11-10 13:39
  • 2250

HBase基础知识(6):扫描操作介绍

扫描操作的使用跟get()方法非常相似。同样,和其他函数类似,这里也提供了Scan类。但是由于扫描的工作方式类似于迭代器,所以用户无需调用scan()方法创建实例,只需调用HTable的getScanner()方法,此方法在返回真正的扫描器(scanner)实例的同时,用户也可以使用它迭代获取数据。...
  • pangjiuzala
  • pangjiuzala
  • 2015-08-26 20:13
  • 2200

HBase的Scan实现源码分析

我们从接口InternalScanner开始分析,实现该接口的类表示其是使用于HBase内部的scanner,不暴露给客户端使用。实现了这个接口的类如下所示: KeyValueHeap、StoreScanner、RegionScanner 下面再看KeyValueScanner,KeyValue...
  • bryce123phy
  • bryce123phy
  • 2016-09-23 16:53
  • 2568

hbase性能优化大全,很全,很牛

HBase性能优化方法总结(一):表的设计 本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第一部分内容:表的设计相关的优化方法。 1. 表的设计 1.1&...
  • u010670689
  • u010670689
  • 2014-08-07 15:37
  • 1180

Hbase之遍历获取数据

转载:[Hbase之遍历获取数据] http://www.cnblogs.com/similarface/p/5799460.htmlimport org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseC...
  • a298804870
  • a298804870
  • 2016-11-10 13:39
  • 2250

HBase基础知识(7):扫描操作之ResultScanner类

扫描操作不会通过一次RPC请求返回所有匹配的行,而是以行为单位进行返回。很明显,行的数目很大,可能有上千条甚至更多,同时在一次请求中发送大量数据,会占用大量的系统资源并消耗很长时间。 ResultScanner类把扫描操作转换为类似的get操作,它将每一行数据封装成一个Result实例,并将所...
  • pangjiuzala
  • pangjiuzala
  • 2015-08-27 09:51
  • 2807

HBase Scan过程解析

转载自:http://zlx19900228.iteye.com/blog/1178233 (1) 卖家导出订单部分:  卖家导出订单部分的表结构设计:  Rowkey: seller_id+ gmt_create+ parent_id+biz_order_id ...
  • lxf310
  • lxf310
  • 2014-12-16 21:52
  • 5223
    个人资料
    • 访问:217567次
    • 积分:5401
    • 等级:
    • 排名:第5829名
    • 原创:310篇
    • 转载:107篇
    • 译文:11篇
    • 评论:9条
    最新评论