接着前一篇文章所说,在hbase入库效率上有较大作用的几个因素
一、writebuffersize大小的设置,太大和太小都会使速度下降。原因是太大每次提交数量大,提交频度下降;太小每次提交数量小,提交频度高。按照目前的测试结果来看64MB是一个理想值
二、硬盘配置,在底层的hadoop上不要对硬盘做raid,能够充分利用每块磁盘的使用效率
三、regionserver的flush大小,region最大size。这里flushsize尽量配大,4G,region最大size可以配很大,使得region尽量不去分裂
四、关闭wal,在测试的时候居然发现速度下降,具体原因还不清楚。