tar zxpf hbase-2.1.0-bin.tar.gz -C /usr/local/hadoop
2、创建软链接
ln -s /usr/local/hadoop/hbase-2.1.0 /usr/local/hadoop/hbase
三、HBASE配置
1、regionservers配置
regionservers配置和hadoop的work一样,hadoop的DataNode节点是哪个regionservers就是哪几个
hadoop003
hadoop004
hadoop005
2、hbase-site.xml配置
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>hbase.master
60000
hbase.tmp.dir
/data/cluster/hbase/tmp
hbase.rootdir
hdfs://ns1/hbase
hbase.cluster.distributed
true
hbase.zookeeper.property.clientPort
2181
hbase.zookeeper.quorum
hadoop001,hadoop002,hadoop003
hbase.zookeeper.property.dataDir
/usr/local/zookeeper/data
dfs.datanode.max.transfer.threads
4096
hbase.master
hadoop1
hbase.unsafe.stream.capability.enforce
false
hfile.format.version
3
hbase.superuser
hbase,admin,root,hdfs,zookeeper,hive,hadoop,hue,impala,spark,kylin
hbase.table.sanity.checks
false
hbase.coprocessor.abortonerror
false
hfile.block.cache.size
stofile的读缓存占用Heap的大小百分比。该值直接影响数据读的性能当然是越大越好,如果写比读少很多,开到0.4-0.5也没问题,如果读写均衡,设置为0.3左右。如果写比读多,果断使用默认就行。
hbase.wal.provider
multiwal
MultiWAL: 如果每个RegionServer只有一个WAL,由于HDFS必须是连续的,导致必须写WAL连续的,然后出现性能问题。MultiWAL可以让RegionServer同时写多个WAL并行的,通过HDFS底层的多管道,最终提升总的吞吐量,但是不会提升单个Region的吞吐量。
hbase.regionserver.wal.codec
org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec
phoenix.schema.isNamespaceMappingEnabled
true
phoenix.schema.mapSystemTablesToNamespace
true
phoenix.functions.allowUserDefinedFunctions
true
enable UDF functions
3、hbase-env.sh配置
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
lowUserDefinedFunctions
true
enable UDF functions
3、hbase-env.sh配置
[外链图片转存中…(img-IWmjgRiG-1714508230783)]
[外链图片转存中…(img-8FVQDQnJ-1714508230783)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!