学习大数据的第49天（搭建HA）

学习大数据的第49天（搭建HA）

高可用HA的环境搭建（不过公司里都是用CDH ）

	ZK	NN	DN	RM	NM	JN	ZKFC

master 1 1 1 1 1
node1 1 1 1 1 1 1 1
node2 1 1 1 1

注意： 操作前需要保存一下之前的快照

jdk hosts
1、防火墙
service iptables stop
2、时间同步
yum install ntp
ntpdate -u s2c.time.edu.cn

或者
date -s 20180503

3、免密钥 (远程执行命令)
在两个主节点生成密钥文件
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
ssh-copy-id ip

master-->master,node1,node2
node1-->master,node1,node2

注意：
需要保证hdfs相关的组件被关闭 在master节点执行 stop-dfs.sh

4、修改hadoop配置文件
core-site.xml
hdfs-site.xml

同步到其它节点
cd /usr/local/soft/hadoop-2.7.6/etc/hadoop

[root@master hadoop]# scp hdfs-site.xml  root@node1:`pwd`
hdfs-site.xml                                    100% 1359     1.9MB/s   00:00
[root@master hadoop]# scp hdfs-site.xml  root@node2:`pwd`
hdfs-site.xml                                    100% 1359     2.6MB/s   00:00
[root@master hadoop]# scp core-site.xml root@node1:`pwd`
core-site.xml                                    100% 1165   851.6KB/s   00:00
[root@master hadoop]# scp core-site.xml root@node2:`pwd`
core-site.xml                                    100% 1165   807.9KB/s   00:00

​

5、删除hadoop数据存储目录下的文件 每个节点都需要删除
rm -rf /usr/local/soft/hadoop-2.7.6/tmp

6、启动zookeeper 三台都需要启动
zkServer.sh start
zkServer.sh status

7、启动JN 存储hdfs元数据
三台JN上执行 启动命令：
hadoop-daemon.sh start journalnode

8、格式化 在一台NN上执行（在master上执行）
hdfs namenode -format
启动当前的NN
hadoop-daemon.sh start namenode

9、执行同步 没有格式化的NN上执行 在另外一个namenode上面执行（在node1上执行）
hdfs namenode -bootstrapStandby

10、格式化ZK 在已经启动的namenode上面执行（在master上执行）
！！一定要先 把zk集群正常 启动起来
hdfs zkfc -formatZK

11、启动hdfs集群,在启动了namenode的节点上执行
start-dfs.sh
stop-dfs.sh

yarn 高可用
1、修改配置文件
yarn-site.xml
mapred-site.xml

同步到所有节点

2、启动yarn 在master启动
start-yarn.sh

3、在另外一台主节点上启动RM（在node1上执行）
yarn-daemon.sh start resourcemanager
执行完以上命令，使用jps命令查看进程，可以看到三个节点共16个进程
此时，可以在master上进入zookeeper查看一下：
zkCli.sh
ls /

master:8088
node1:8088

关闭：直接关闭所有的集群
stop-dfs.sh
zkServer.sh stop
stop-yarn.sh