hbase服务端读写性能优化

背景

在使用Hbase这个Kv数据库的过程中，我们最关心的是Hbse的读写延迟以及吞吐量，本文就从Hbase服务端的角度阐述下如何对Hbase的读写性能进行优化

Hbase读性能优化

1.Hbase的Region是否均衡，由于所有的业务使用的都是同一个Hbase集群，所有Region是否均衡对读性能影响就很大，比如如果绝大部分业务的读请求都集中在某个RegionServer上面，那显然会导致这台RegionServer负载过高，影响读操作的吞吐和延迟，检查Region是否均衡的比较简单的方式是查看RowKey是否进行Md5散列化处理以及一开始建表时是否进行了预分区
2.Hbase的Compact合并操作是否消耗了过多的系统资源，包括网络IO和Cpu等，导致影响了读操作过程，所以我们应该尽量不要在生产中开启Major compact合并操作，并且对于minor compact操作，我们也应该限定合并过程中的带宽和IO的使用上限，这样就不至于太过影响读操作需要的资源
3.Hbase 的BlockCache缓存是否合理，由于Hbase的HFile文件不可变，所以使用BlockCache缓存HFile的数据可以有非常好的效果，可以节省部分的IO操作的开销，所以合理设置BlockCache的大小，可以提高读的吞吐和降低读延迟
4.读操作主要是以下几个部分的数据查找过程，MemStore内存的数据+ BlockCache缓存的数据+HFile文件的数据，如果MemStore内存数据和BlockCache缓存中都找不到对应的记录，那么只能通过HFile文件进行数据查找，HFile文件的数量越多，所需要的IO操作次数就越多，所以减少HFile文件的数量可以减少读操作所需的IO操作的次数，那么如何减少HFile的文件的数量呢？我们可以使用minor compact进行Hfile文件合并，比如设置compactThreshold的阈值为5，这样当Hfile文件的数量超过5时就会进行minor compact进行合并

Hbase写操作性能

1.Region的个数是否合理以及Region的分布是否均衡，只有设置Region的个数大于RegionServer的个数，才能比较充分的利用整体RegionServer的IO能力来服务写请求，此外，Region的分布也需要比较均衡的分布在各个RegionServer上面，不要有写热点，其实只要保证rowkey是使用md5进行散列化设计以及建表时预分区合理一般就没有问题
2.Hlog的目录使用SSD磁盘，我们知道更新操作包含一次WAL的落盘和一次写MemStore内存的操作，其中WAL落盘到HLog的对写性能影响很大，所以我们可以把HLog文件使用SSD磁盘进行存储，这样通过使用SSD取代一般磁盘的方式提高IO的性能。这样自然写性能也可以有大幅的提高

顺便说一下：Hbase的读写延迟一般来说P99都是在100ms~150ms之间，我是指在一般的KeyValue大小情况下(比如KeyValue的大小几十K)