hbase读写性能常用参数调优

hbase读写性能常用参数

1、blockcache 作用–读性能

参数：hfile.block.cache.size ##blockcache占用JVM的内存百分比，默认0.4

2、memstore 作用-- 写性能

参数：

hbase.hregion.memstore.flush.size 到达此值就会flush落盘，默认128M，可调256M，即268435456，但是注意，每个region都有一个memstore，如果节点region过多，调整将无意义
hbase.hregion.memstore.block.multiplier 默认是4 ，即写入一个region中的所有memstore总和到达hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplier 阈值，就会flush

hbase.regionserver.global.memstore.size 默认0.4,即占用总JVM的内存百分比大小，若regionserver上所有的memstore到这个值，就会阻塞写入，强制flush，非常重要

hbase.regionserver.global.memstore.size.lower.limit 默认0.95，表示到hbase.regionserver.global.memstore.size的百分比后，就会对最大的memstore 进行flush

hbase.regionserver.optionalcacheflushinterval 标识memstore强制刷写时间，默认1H

3、compaction 合并性能

参数

hbase.hstore.compactionThreshold 表示store中文件到这个数量就进行合并，默认是3，可以调整，参考值10

hbase.hstore.compaction.max 最大可参与minor的文件数，默认是10 ，参考值20

hbase.hstore.blockingStoreFiles 一个store中文件数超过这个值，则所有更新阻塞 ，默认是15，参考值 30
hbase.hregion.majorcompaction major合并周期。一般都是0.即禁用

hbase.regionserver.thread.compaction.throttle 区分大小文件，用来判定执行large或者small，默认2G,生产要放大
hbase.regionserver.thread.compaction.large 大文件的执行线程数，默认是5
hbase.regionserver.thread.compaction.small 小文件的执行线程数 ，默认是10

3-1关于线程的参数修改后可以立即生效，不需要重启RS，具体操作为 hbase shell中执行update_config或者update_all_config即可生效

4、hlog

参数

hbase.regionserver.maxlogs ##wal文件超过该值，就会强制flush。默认32

5、hbase jvm

数值不宜太大，内存配的太大full GC时间会很久，影响业务，目前配置48G