[Hadoop]HDFS-HA高可用完全分布式搭建(基于hadoop-2.6.5的多NameNode形式)

相关链接:
HDFS伪分布式搭建(基于hadoop-2.6.5的单NameNode形式)
https://blog.csdn.net/a755199443/article/details/97158845

HDFS完全分布式搭建(基于hadoop-2.6.5的单NameNode形式)
https://blog.csdn.net/a755199443/article/details/97163768

hadoop-yarn环境搭建(基于hadoop-2.6.5) 2019年07月25日 19:22:16
https://blog.csdn.net/a755199443/article/details/97273269

HDFS-HA高可用完全分布式搭建

环境背景

1 修改hosts文件

2 免密钥登录

3 安装zookeeper

4 安装hadoop

5 第一次启动

6 之后的启动和关闭

环境背景

各虚拟机的系统时间需要同步, 各节点预先安装好jdk1.7 因为多节点有相同操作,使用xshell的同步命令能简化步骤
使用的各节点虚拟机操作系统为CentOS_6.5
共四个节点node01,node02,node03,node04,ip分别为
node01 192.168.110.101
node02 192.168.110.102
node03 192.168.110.103
node04 192.168.110.104
将以node01作为NameNode-1,node02作为NameNode-2
node02,node03,node04作为DataNode,并在q其上zookeeper集群
ZKFC分别位于node01,node02节点
journalnode位于node01,node02,node03节点

登录用户为root

选择node01为管理节点,若没有特殊说明,默认操作的都是node01节点

hadoop-2.6.5资源链接:
链接：https://pan.baidu.com/s/1NHTCtqHbsuKztpruSRyB-A
提取码：j0sg

zookeeper-3.4.6资源链接:
链接：https://pan.baidu.com/s/1CNzFnVDqOst5JuHsh5K61g
提取码：chzx

1 修改hosts文件

在每个节点的hosts文件末尾加上节点地址

192.168.110.101 node01
192.168.110.102 node02
192.168.110.103 node03
192.168.110.104 node04

vim /etc/hosts

2 免密钥登录

为了使用hadoop的管理脚本控制所有节点,要使node01 获得其他节点的免密钥登录权限
另外为了node01和node02之间可以互相免登录(zkfc的需要)还要使node02节点获得node01节点的免密钥登陆权限

先完成node01对其他节点的免密钥登录

node01输入命令
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
在/root目录生成.ssh目录

进入.ssh目录,其中有密钥id_dsa和公钥id_dsa.pub

把公钥放到访问方的认证文件里即可获得免密钥登陆权限
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
原本需要密码