hbase基本配置及其各种性能调整参数配置

hbase-site.xml配置

hbase.tmp.dir

• 本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的
• 线上配置

  <property>      <name>hbase.tmp.dir</name>      <value>/mnt/dfs/11/hbase/hbase-tmp</value> </property>

• 默认值：

  ${java.io.tmpdir}/hbase-${user.name}

  写到系统的/tmp目录

hbase.rootdir

• HBase集群中所有RegionServer共享目录，用来持久化HBase的数据，一般设置的是hdfs的文件目录，如hdfs://namenode.example.org:9000/hbase
• 线上配置

  <property>      <name>hbase.rootdir</name>      <value>hdfs://mycluster/hbase</value> </property>

• 默认值：

  ${hbase.tmp.dir}/hbase

hbase.cluster.distributed

• 集群的模式，分布式还是单机模式，如果设置成false的话，HBase进程和Zookeeper进程在同一个JVM进程。
• 线上配置为true
• 默认值：false

hbase.zookeeper.quorum

• zookeeper集群的URL配置，多个host中间用逗号（,）分割
• 线上配置

  <property>    <name>hbase.zookeeper.quorum</name>     <value>inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org</value> </property>

• 默认值：localhost

hbase.zookeeper.property.dataDir

• ZooKeeper的zoo.conf中的配置。 快照的存储位置
• 线上配置：/home/hadoop/zookeeperData
• 默认值：${hbase.tmp.dir}/zookeeper

zookeeper.session.timeout

• 客户端与zk连接超时时间
• 线上配置：1200000（20min）
• 默认值：180000（3min）

hbase.zookeeper.property.tickTime

• Client端与zk发送心跳的时间间隔
• 线上配置：6000（6s）
• 默认值：6000

hbase.security.authentication

• HBase集群安全认证机制，目前的版本只支持kerberos安全认证。
• 线上配置：kerberos
• 默认值：空

hbase.security.authorization

• HBase是否开启安全授权机制
• 线上配置： true
• 默认值： false

hbase.regionserver.kerberos.principal

• regionserver的kerberos认证的主体名称（由三部分组成：服务或用户名称、实例名称以及域名）
• 线上配置：hbase/_HOST@HADOOP.xxx.xxx.COM
• 默认：无

hbase.regionserver.keytab.file

• regionserver keytab文件路径
• 线上配置：/home/hadoop/etc/conf/hbase.keytab
• 默认值：无

hbase.master.kerberos.principal

• master的kerberos认证的主体名称（由三部分组成：服务或用户名称、实例名称以及域名）
• 线上配置：hbase/_HOST@HADOOP.xxx.xxx.COM
• 默认：无

hbase.master.keytab.file

• master keytab文件路径
• 线上配置：/home/hadoop/etc/conf/hbase.keytab
• 默认值：无

hbase.regionserver.handler.count

• regionserver处理IO请求的线程数
• 线上配置：50
• 默认配置：10

hbase.regionserver.global.memstore.upperLimit

• RegionServer进程block进行flush触发条件：该节点上所有region的memstore之和达到upperLimit*heapsize
• 线上配置：0.45
• 默认配置：0.4

hbase.regionserver.global.memstore.lowerLimit

• RegionServer进程触发flush的一个条件：该节点上所有region的memstore之和达到lowerLimit*heapsize
• 线上配置：0.4
• 默认配置：0.35

hbase.client.write.buffer

• 客户端写buffer，设置autoFlush为false时，当客户端写满buffer才flush
• 线上配置：8388608（8M）
• 默认配置：2097152（2M）

hbase.hregion.max.filesize

• 单个ColumnFamily的region大小，若按照ConstantSizeRegionSplitPolicy策略，超过设置的该值则自动split
• 线上配置：107374182400（100G）
• 默认配置：21474836480（20Gÿ