CHD5.3搭建参考:http://blog.csdn.net/korder/article/details/46909253
以下俩种方式安装Hbase集群:
一:tar包安装
1 . Hbase安装在39/40/41/42/43/44/45/46/47节点上,所以上传hbase压缩包hbase-0.98.6-cdh5.3.0.tar.gz到39节点,配置好39再同步其他节点
2 . hbase-site.xml内容修改如下:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://cdh5-test/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>172.23.27.39:60000</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/tmp/hbase-${user.name}</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value> 172.23.27.45:2181,172.23.27.46:2181,172.23.27.47:2181</value>
</property>
</configuration>
3 . regionservers内容修改如下:
JXQ-23-27-40.h.chinabank.com.cn
JXQ-23-27-41.h.chinabank.com.cn
JXQ-23-27-42.h.chinabank.com.cn
JXQ-23-27-43.h.chinabank.com.cn
JXQ-23-27-44.h.chinabank.com.cn
JXQ-23-27-45.h.chinabank.com.cn
JXQ-23-27-46.h.chinabank.com.cn
JXQ-23-27-47.h.chinabank.com.cn
4 . hbase-env.sh
export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
export JAVA_HOME=/usr/java/jdk1.7.0_51
export HBASE_LOG_DIR=/var/hbase/logs
export HBASE_MANAGES_ZK=false //不使用自带zookeeper
export HBASE_SSH_OPTS="-p 51899"//ssh端口改变
5 . 同步文件夹,改权限
scp -P 51899 -r hbase-0.98.6-cdh5.3.0 pe@172.23.27.47:/tmp/
...
mv /tmp/hbase-0.98.6-cdh5.3.0 /export/server/
chown -R root:root hbase-0.98.6-cdh5.3.0/
6 . 启动
分别在这些节点上启动 start-hbase.sh
二:Hbase,yum安装:
39节点:安装master
yum install -y hbase-master hbase-rest hbase-thrift
//以下是具体安装上的包名
hbase-master.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6
hbase-rest.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6
hbase-thrift.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6
hbase.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6
40/41/42/43/44/45/46/47节点:安装region-server
yum install -y region-server
//以下是具体安装上的包名
hbase-regionserver.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6
hbase.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6
执行:
start-hbase.sh
该命令可在任意结点上执行,不过需要注意的是:在哪个结点上执行该命令,该点将自动成为master(与zookeeper的配置不同,hbase的配置文件中不提供指定master的选项),如果需要多个back-up master,可在另外的结点上通过hbase-daemon.sh start master单独启动master!
以下是单独启动某项服务的命令:
启动master
cd /usr/lib/hbase/bin
./hbase-daemon.sh start master
启动regionserver
cd /usr/lib/hbase/bin
./hbase-daemon.sh start regionserver
所有服务启动后,访问:
http://YOUR-MASTER:60010
常见问题:
1>
172.23.27.46: ssh: connect to host 172.23.27.46 port 22: Connection refused
JXQ-23-27-41.h.chinabank.com.cn: ssh: connect to host JXQ-23-27-41.h.chinabank.com.cn port 22: Connection refused
当前环境无法root ssh直连,只能手动一台一台启动咯
2>HMaster启动后,分分钟又停止:
<name>hbase.rootdir</name>
<value>hdfs://cdh5-test/hbase</value>
原来是hbase目录没有创建。hbase.rootdir:这个目录是region server的共享目录,用来持久化Hbase。URL需要是'完全正确'的,还要包含文件系统的scheme。
优化:
1. 可以调整hbase-site.xml的hbase.hregion.max.filesize属性.
更大的Region可以使你集群上的Region的总数量较少。 一般来言,更少的Region可以使你的集群运行更加流畅。(你可以自己随时手工将大Region切割,这样单个热点Region就会被分布在集群的更多节点上)。默认情况下单个Region是256MB.你可以设置为1G。有些人使用更大的,4G甚至更多。