本文详细介绍了HBase的几个关键配置参数，包括regionserver处理线程数、WAL大小和数量、split策略、预分region策略以及compaction和推测执行机制。正确调整这些配置能有效提升HBase的性能，例如，regionserver.handler.count应根据请求数据量调整，避免内存压力和频繁GC。WAL块大小宜略小于HDFS块大小，而手动split在特定情况下可用于问题定位。此外，合理的region数量和major compaction周期有助于平衡IO压力。最后，关闭HBase集群的推测执行机制和合理设置BlockCache大小也是优化的重要方面。
对于region非常多的大规模集群，0.94之前的版本存在以下bug：集群启动时，
master首先启动后，所有的regions都会被assigned给第一个注册启动的regionserver，
这个造成数据严重倾斜，导致严重的性能问题。0.94之后的版本修复了hbase.master.wait.on.regionservers.mintostart，
只有启动的regionserver数量达到配置值时，regionserver才会并行地assign region给regionserver。
zookeeper配置项zookeeper.session.timeout
默认值是3分钟，即regionserver服务器宕机3分钟后，master才会通知服务器宕机。可以把这个配置值调到1分钟或者更低，这会加快master对宕机
的响应速度。但是调小这个参数也会带来其他影响，如果regionserver垃圾回收耗时超过该配置值，那么master会当做这个regionserver节点宕机，
这可能要导致重启该regionserver节点。这也可以解释有时大批量导入数据到HBase时，regionserver宕机的原因。
Hdfs配置项dfs.datanode.failed.volumes.tolerated
一个数据节点允许最大磁盘不可用数量，默认值是1，即一个数据节点上一块磁盘不可用即触发node fault。通常hdfs三副本分别存储在不同节点上，
因此调高该参数一般不会影响hdfs高可用性。
在HBase集群中，遇到如下问题：node fault会触发该节点上的hbase表region迁移，迁移过程中相关region不可用，通常迁移
master首先启动后，所有的regions都会被assigned给第一个注册启动的regionserver，
这个造成数据严重倾斜，导致严重的性能问题。0.94之后的版本修复了hbase.master.wait.on.regionservers.mintostart，
只有启动的regionserver数量达到配置值时，regionserver才会并行地assign region给regionserver。
zookeeper配置项zookeeper.session.timeout
默认值是3分钟，即regionserver服务器宕机3分钟后，master才会通知服务器宕机。可以把这个配置值调到1分钟或者更低，这会加快master对宕机
的响应速度。但是调小这个参数也会带来其他影响，如果regionserver垃圾回收耗时超过该配置值，那么master会当做这个regionserver节点宕机，
这可能要导致重启该regionserver节点。这也可以解释有时大批量导入数据到HBase时，regionserver宕机的原因。
Hdfs配置项dfs.datanode.failed.volumes.tolerated
一个数据节点允许最大磁盘不可用数量，默认值是1，即一个数据节点上一块磁盘不可用即触发node fault。通常hdfs三副本分别存储在不同节点上，
因此调高该参数一般不会影响hdfs高可用性。
在HBase集群中，遇到如下问题：node fault会触发该节点上的hbase表region迁移，迁移过程中相关region不可用，通常迁移
最低0.47元/天 解锁文章
621
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
