hbase 程序优化参数调整方法

最新推荐文章于 2024-09-18 15:41:55 发布

longshenlmj

最新推荐文章于 2024-09-18 15:41:55 发布

阅读量4.4k

点赞数

分类专栏： hbase 文章标签： hbase hbase优化配置

本文链接：https://blog.csdn.net/longshenlmj/article/details/48339869

版权

本文介绍了HBase使用Scan进行数据读取时的优化配置，包括设置是否缓存块`setCacheBlocks`和缓存条目数`setCaching`，以及这两个参数如何影响RPC交互和性能。此外，还提到了其他优化参数如Write Buffer Size和Map中间结果压缩。在运行过程中，讨论了客户端报错和LeaseException的处理策略。

摘要由CSDN通过智能技术生成

hbase读数据用scan，读数据加速的配置参数为：

Scan scan = new Scan();
scan.setCaching(500);        // 1 is the default in Scan, which will be bad for MapReduce jobs
scan.setCacheBlocks(false);  // don't set to true for MR jobs

其中，

public Scan setCacheBlocks(boolean cacheBlocks)//Set whether blocks should be cached for this Scan

    默认值为true, 分内存，缓存和磁盘，三种方式，一般数据的读取为内存->缓存->磁盘；setCacheBlocks不适合MapReduce工作：
    MR程序为非热点数据，不需要缓存，因为Blockcache is        LRU，也就是最近最少访问算法（扔掉最少访问的），那么，前一个请求（比如map读取&#x