部署HBase组件
此文以Hadoop 3.2.2、HBase 2.3.5版本为例!
如未指定,下述命令在所有节点执行!
系统资源及组件规划
节点名称 | 系统名称 | CPU/内存 | 网卡 | 磁盘 | IP地址 | OS | 节点角色 |
---|---|---|---|---|---|---|---|
Master1 | master1 | 2C/4G | ens33 | 128G | 192.168.0.11 | CentOS7 | NameNode、ResourceManager、DFSZKFailoverController、HMaster |
Master2 | master2 | 2C/4G | ens33 | 128G | 192.168.0.12 | CentOS7 | NameNode、ResourceManager、DFSZKFailoverController、HMaster |
Worker1 | worker1 | 2C/4G | ens33 | 128G | 192.168.0.21 | CentOS7 | DataNode、NodeManager、JournalNode、QuorumPeerMain、RegionServer |
Worker2 | worker2 | 2C/4G | ens33 | 128G | 192.168.0.22 | CentOS7 | DataNode、NodeManager、JournalNode、QuorumPeerMain、RegionServer |
Worker3 | worker3 | 2C/4G | ens33 | 128G | 192.168.0.23 | CentOS7 | DataNode、NodeManager、JournalNode、QuorumPeerMain、RegionServer |
搭建Hadoop集群
Hadoop完全分布式高可用集群搭建过程省略,参考如下:
https://blog.csdn.net/mengshicheng1992/article/details/116759501
部署HBase组件
1、安装HBase组件
下载HBase文件:
参考地址:https://downloads.apache.org/hbase/
解压HBase安装文件:
tar -xf /root/hbase-2.3.5-bin.tar.gz -C /usr/local/
设置环境变量:
export PATH=$PATH:/usr/local/hbase-2.3.5/bin/
添加环境变量至/etc/profile文件:
PATH=$PATH:/usr/local/hbase-2.3.5/bin/
2、配置HBase组件
修改hbase-env.sh文件:
vim /usr/local/hbase-2.3.5/conf/hbase-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_291/
export HBASE_MANAGES_ZK=false
修改hbase-site.xml文件:
cat > /usr/local/hbase-2.3.5/conf/hbase-site.xml << EOF
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://mycluster/hbase</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>worker1:2181,worker2:2181,worker3:2181</value>
</property>
</configuration>
EOF
创建backup-masters文件,指定Backup Master节点:
touch /usr/local/hbase-2.3.5/conf/backup-masters
echo master2 > /usr/local/hbase-2.3.5/conf/backup-masters
修改regionservers文件,指定RegionServer节点:
echo worker1 > /usr/local/hbase-2.3.5/conf/regionservers
echo worker2 >> /usr/local/hbase-2.3.5/conf/regionservers
echo worker3 >> /usr/local/hbase-2.3.5/conf/regionservers
拷贝Hadoop配置文件至HBase目录:
cp /usr/local/hadoop-3.2.2/etc/hadoop/core-site.xml /usr/local/hbase-2.3.5/conf/
cp /usr/local/hadoop-3.2.2/etc/hadoop/hdfs-site.xml /usr/local/hbase-2.3.5/conf/
3、启动HBase组件
在Master1节点上启动HBase:
start-hbase.sh
在各类节点上查看Hadoop进程:
登录HMaster主节点:
http://192.168.0.11:16010
登录HMaster从节点:
http://192.168.0.12:16010
4、HMaster故障演示
Master1节点故障,主从节点已切换
关闭Master1节点
在Master2节点上查看HMaster状态:
恢复Master1节点,启动HDFS、YARN与HBase
在Master1节点上查看HMaster状态:
在Master2节点上查看HMaster状态:
Master1节点恢复,主从节点未切换