hbase 读写调优_HBase 写入优化

一、Hbase 写入慢时的集群异常指标

关于hbase写入优化的文章很多，这里主要记录下，生产hbase集群针对写入的一次优化过程。

hbase写入慢时，从hbase集群监控到的一些指标  -hbase 采用HDP 2.6 ，Hbase  -1.1.2

HBase的吞吐量 达到一个峰值之后，瞬间下降，无法稳定 ，对应的Grafana 面板-RPC Received bytes/s

hbase 每台服务器的写入条数不均衡 ，对应监控面板 --Num Write Requests /s

hbase的member store 一直维持在较小的数据，远没有达到机器 设置的 读写内容的比例，比如 读写内容各站0.4,  对应监控面板-Memstore Size

基于此 任务 目前的写入慢，并非集群硬件配置造成，而是hbase集群参数设计等设置有问题。

二、重新梳理了hbase了 写入流程

hbase 写入流程，这里就不在追溯，以上是根据理解，自己画的写入流程图 。可以查询的资料较多，这里推荐几个地址

三、参数优化

基于以上，优化的思路主要分为如下

利用分布式集群优势，确保请求负载均衡

集群的RegionServer 在某些情况下会阻止数据的写入，尽量减少这种情况的发生

提高RegionServer 处理外部请求的能力

减少客户端和服务端ipc,请求的次数,可以批量写入的采用批量写入

增加hbaserest 端并行执行的能力

3.1  利用分布式集群优势，确保请