hbase扫描优化-扫描缓存-cacheing-timetout-retries-batch

最新推荐文章于 2022-10-24 21:24:17 发布

缘定三石

最新推荐文章于 2022-10-24 21:24:17 发布

阅读量787

点赞数

分类专栏： Hbase

本文链接：https://blog.csdn.net/tian_qing_lei/article/details/77691364

版权

本文探讨了HBase扫描操作的优化，重点关注了缓存设置（caching）、超时时间、重试次数和批处理大小。通过调整`HBASE_CLIENT_RETRIES_NUMBER`为1，限制了重试次数，同时设置了scan的batch大小为2，以减少数据读取的网络开销。

摘要由CSDN通过智能技术生成

扫描
-----------------
不应该全表扫描.

缓存和批处理
-----------------
扫描器缓存可以在一次RPC中返回多条记录。默认是关闭的。
从两个层面上控制扫描器缓存。
全局配置.(优先级最低)
<property>
<name>hbase.client.scanner.caching</name>
<value>2147483647</value>
</property>

1.表层面()
HTable.set
HConstants#HBASE_CLIENT_SCANNER_CACHING
2. 扫描器范围(有限级最高)
Scan scan = new Scan();
scan.setCaching(5) ;
HConstants#HBASE_CLIENT_SCANNER_CACHING}//默认值
scan.setCaching(no set) ; //2036
scan.setCaching(1) ; //2632
scan.setCaching(Integer.MAX) ; //1792
scan.setCa