Hadoop-ha集群安装
1、首先在之前安装好的hadoop260目录下面创建一个data目录,然后在data目录下面再创建3个目录,分别为journalnode、pids、tmp。集群的所有虚拟机都要这样创建。
2、然后我们需要配置hadoop里面的配置,首先配置environment。进入hadoop260目录下面的etc/hadoop目录下面,编辑里面的hadoop-env.sh文件。
3、其次编辑core-site.xml文件。
4、编辑hdfs-site.xml文件。
5、编辑yarn-site.xml文件。
6、进入hadoop260的sbin目录下面,分别启动所有节点上的journal服务。
[root@vmmaster sbin]# hadoop-daemon.sh start journalnode
[root@vmone sbin]# hadoop-daemon.sh start journalnode
[root@vmtwo sbin]# hadoop-daemon.sh start journalnode
[root@vmthree sbin]# hadoop-daemon.sh start journalnode
7、在nn1节点上进行格式化
[root@vmmaster sbin]# hdfs namenode -format
[root@vmmaster sbin]# hadoop-daemon.sh start namenode
8、在nn2节点上同步nn1上的元数据信息。
[root@vmone sbin]# hdfs namenode -bootstrapStandby
[root@vmone sbin]# hadoop-daemon.sh start namenode
9、开始启动hadoop高可用集群。首先先分别启动各个节点上的zokeeper。
[root@vmmaster sbin]# zkServer.sh start
[root@vmone sbin]# zkServer.sh start
[root@vmtwo sbin]# zkServer.sh start
[root@vmthree sbin]# zkServer.sh start
10、在nn1节点上启动hadoop高可用集群。
[root@vmmaster sbin]# start-all.sh
11、单独启动nn2节点上的resourcemanager
[root@vmone sbin]# yarn-daemon.sh start resourcemanager
12、检查服务列表
注:出现下列问题,以及解决方法
- 高可用集群,zookeeper 启动成功,zkfc 显示启动成功。namenode节点DFSZKFailoverController进程未启动,并且web页面两个namenode都为standby状态。
原因:可能是之前对zoo.cfg文件作了修改导致的问题。解决办法:重新格式化zkfc就可以 hdfs zkfc -formatZK
13、查看nn1和nn2状态。通过网页检查 kbcluster nn1和nn2两个namenode resourcemanager的状态。如果显示active,说明hadoop高可用集群安装以及启动成功。