大数据集群之HBASE2(3)

hbase.rootdir

hdfs://ns1/hbase

hbase.cluster.distributed

true

hbase.zookeeper.property.clientPort

2181

hbase.zookeeper.quorum

hadoop001,hadoop002,hadoop003

hbase.zookeeper.property.dataDir

/usr/local/zookeeper/data

dfs.datanode.max.transfer.threads

4096

hbase.master

hadoop1

hbase.unsafe.stream.capability.enforce

false

hfile.format.version

3

hbase.superuser

hbase,admin,root,hdfs,zookeeper,hive,hadoop,hue,impala,spark,kylin

hbase.table.sanity.checks

false

hbase.coprocessor.abortonerror

false

hfile.block.cache.size

stofile的读缓存占用Heap的大小百分比。该值直接影响数据读的性能当然是越大越好，如果写比读少很多，开到0.4-0.5也没问题，如果读写均衡，设置为0.3左右。如果写比读多，果断使用默认就行。

hbase.wal.provider

multiwal

MultiWAL: 如果每个RegionServer只有一个WAL，由于HDFS必须是连续的，导致必须写WAL连续的，然后出现性能问题。MultiWAL可以让RegionServer同时写多个WAL并行的，通过HDFS底层的多管道，最终提升总的吞吐量，但是不会提升单个Region的吞吐量。

hbase.regionserver.wal.codec

org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec

phoenix.schema.isNamespaceMappingEnabled

true

phoenix.schema.mapSystemTablesToNamespace

true

phoenix.functions.allowUserDefinedFunctions

true

enable UDF functions

3、hbase-env.sh配置

#!/usr/bin/env bash

export HBASE_OPTS=“-XX:+UseConcMarkSweepGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/usr/local/hadoop/hbase/logs/jvm-gc-hbase.log”

export JAVA_HOME=/usr/java/jdk1.8

export HBASE_HEAPSIZE=4G

export HADOOP_HOME=/usr/local/hadoop/hadoop

export HBASE_HOME=/usr/local/hadoop/hbase

export HBASE_CLASSPATH=/usr/local/hadoop/hadoop/etc/hadoop

export HBASE_MANAGES_ZK=false

export HBASE_PID_DIR=/var/hadoop/pids

4、backup-masters配置

启动hbase时会将配置的backup-masters节点作为备用HMaster

hadoop001

hadoop002

四、环境变量配置

---

1、HBase环境变量配置

echo ’

hbase config

export HBASE_HOME=/usr/local/hadoop/hbase

export PATH=$PATH:$HBASE_HOME/bin’ >> /etc/profile

2、配置立即生效

source /etc/profile

五、启动HBase

---

1、启动Zookeeper

zkServer.sh start

hdfs --daemon start zkfc

2、启动Hadoop

start-all.sh

3、启动HBase

start-hbase.sh

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1、启动Zookeeper

zkServer.sh start

hdfs --daemon start zkfc

2、启动Hadoop

start-all.sh

3、启动HBase

start-hbase.sh

[外链图片转存中…(img-mVN86qnf-1714508295071)]
[外链图片转存中…(img-N0IAW9M3-1714508295071)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！