HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用

首先续上篇测试：

经过上一篇文章中对代码及参数的修改，HBase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。

本篇主要介绍参数调整的方法，在HDFS上加上压缩卡，最后能达到的写入性能为17W行每秒（全部测试都不开Hlog）。

上篇测试内容： 详情　http://blog.csdn.net/kalaamong/article/details/7275242。 测试数据　http://blog.csdn.net/kalaamong/article/details/7290192 同时上一篇中除压缩卡之外的代码改动被整理成patch放到了git上。打上patch修改参数之后写入随便压到7至8万应当都是没问题的。感谢某试用过的童鞋。 https://github.com/ICT-Ope/HBase.0.90.4_Put_Throughput_Improvement 一个简单的Read Me: Changes: * Add multi-thread flush and compaction to HBase-0.90.4 * One HBase client process could use more than one connection to contact with one RegionServer * Disable Auto Split. !!be careful!! The split version is available. New Configurations: * hbase.hstore.flush.thread 20 the number of flush thread * hbase.hstore.compaction.thread 5 the number of compaction thread * hbase.hregion.memstore.flush.block.size 120000000 if region size reach this number, updates of this region will be blocked * client.connection.number 10 connection number of one client process to one RegionServer Recommended Configuration (for load test or for mainly writing workload) * ipc.server.read.threadpool.size 40 * hbase.server.thread.wakefrequency 500 * hbase.hstore.blockingStoreFiles 20000000

1.遗留的问题--首先为什么最后的测试没出现瓶颈：

 

这是上篇文章中第五组测试时CPU和JVM GC的情况，当时的系统吞吐量稳定在11w/s。

CPU 徘徊在80%多一点，没有找到瓶颈的位置。

首先看一下我们集群的参数：

测试机性能
CPU	16* Intel(R) Xeon(R) CPU