HdfsHA高可用搭建

HdfsHA高可用搭建

		 ZK	 NN	 DN	 RM	NM	 JN	  ZKFC
master	  1	  1	     1		  1	    1
slave1	  1	  1	 1	 1	 1	  1		1
slave2	  1	  	 1		 1	  1

1、防火墙

service iptables stop

2、时间同步

yum install ntp
ntpdate -u s2c.time.edu.cn

或者
date -s 20180503

3、免密钥 (远程执行命令)

在两个主节点生成密钥文件
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id ip

master-->master,slave1,slave2
node1-->master,slave1,slave2

4、修改hadoop配置文件

core-site.xml
hdfs-site.xml

同步到其它节点
	 scp * slave1:`pwd`
	 scp * slave2:`pwd`

5、删除hadoop数据存储目录下的文件 每个节点都需要删除

 rm -rf /usr/local/soft/hadoop-2.7.3/tmp

6、启动zookeeper 三台都需要启动

zkServer.sh start
zkServer.sh status

7、启动JN 存储hdfs元数据

三台JN上执行 启动命令： 
hadoop-daemon.sh start journalnode

8、格式化 在一台NN上执行

  hdfs namenode -format
  启动当前的NN
  hadoop-daemon.sh start namenode

9、执行同步 没有格式化的NN上执行 在另外一个namenode上面执行

hdfs namenode -bootstrapStandby

10、格式化ZK 在已经启动的namenode上面执行

！！一定要先 把zk集群正常 启动起来
  hdfs zkfc -formatZK

11、启动hdfs集群,在启动了namenode的节点上执行

start-dfs.sh

yarn 高可用

1、修改配置文件
	yarn-site.xml
	mapred-site.xml
	
	同步到所有节点

2、启动yarn   在master启动
	start-yarn.sh

3、在另外一台主节点上启动RM
	yarn-daemon.sh start resourcemanager


	master:8088
	slave1:8088