Hadoop生态系统HA安装（详细教程）

Hadoop生态系统HA安装（详细教程）

期待您的关注

☀小白的Hadoop学习笔记 

目录

Hadoop生态系统HA安装（详细教程）

1.检查防火墙和时间

2.在node1节点作免密登录

3.修改hadoop配置文件

4.将配置文件分发给其它节点

5.删除hadoop所有节点数据存储目录下的文件

6.启动所有节点zookeeper

7.启动所有节点的JN 存储hdfs元数据

8.格式化 在master上执行

9.执行同步 在node1上执行格式化

10.格式化ZK 在master上执行

11.启动hdfs集群 在启动了namenode的节点上执行

12.安装完成

---

我们前面已经安装好Hadoop了 下面我们安装一下Hadoop的HA

1.检查防火墙和时间

防火墙 

service iptables stop



时间同步

yum install ntp

ntpdate -u s2c.time.edu.cn

或者

date -s 20180503

2.在node1节点作免密登录

ssh-keygen -t rsa


ssh-copy-id master 

yes 

输入密码

ssh-copy-id node1

yes 

输入密码

ssh-copy-id node2

yes 

输入密码

ssh master 测试 Ctrl+d退出测试

master-->master,node1,node2
node1-->master,node1,node2

注意：
需要保证hdfs相关的组件被关闭 在master节点执行  stop-all.sh 

3.修改hadoop配置文件

core-site.xml
hdfs-site.xml

cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

pwd

4.将配置文件分发给其它节点

同步到其它节点

cd /usr/local/soft/hadoop-2.7.6/etc/hadoop

scp hdfs-site.xml root@node1:`pwd`

scp hdfs-site.xml root@node2:`pwd`

scp core-site.xml root@node1:`pwd`

scp core-site.xml root@node2:`pwd`

5.删除hadoop所有节点数据存储目录下的文件

rm -rf /usr/local/soft/hadoop-2.7.6/tmp

6.启动所有节点zookeeper

启动

zkServer.sh start

查看启动状态


zkServer.sh status

7.启动所有节点的JN 存储hdfs元数据

hadoop-daemon.sh start journalnode

8.格式化 在master上执行

hdfs namenode -format


启动master的namenode

hadoop-daemon.sh start namenode

9.执行同步 在node1上执行格式化

hdfs namenode -bootstrapStandby

10.格式化ZK 在master上执行

！！一定要先 把zk集群正常 启动起来


hdfs zkfc -formatZK

11.启动hdfs集群 在启动了namenode的节点上执行

start-dfs.sh

stop-dfs.sh

12.安装完成