相关链接:
HDFS伪分布式搭建(基于hadoop-2.6.5的单NameNode形式)
https://blog.csdn.net/a755199443/article/details/97158845
HDFS完全分布式搭建(基于hadoop-2.6.5的单NameNode形式)
https://blog.csdn.net/a755199443/article/details/97163768
hadoop-yarn环境搭建(基于hadoop-2.6.5) 2019年07月25日 19:22:16
https://blog.csdn.net/a755199443/article/details/97273269
- 环境背景
- 1 修改hosts文件
- 2 免密钥登录
- 3 安装zookeeper
- 4 安装hadoop
- 5 第一次启动
- 6 之后的启动和关闭
HDFS-HA高可用完全分布式搭建
环境背景
各虚拟机的系统时间需要同步, 各节点预先安装好jdk1.7 因为多节点有相同操作,使用xshell的同步命令能简化步骤
使用的各节点虚拟机操作系统为CentOS_6.5
共四个节点node01,node02,node03,node04,ip分别为
node01 192.168.110.101
node02 192.168.110.102
node03 192.168.110.103
node04 192.168.110.104
将以node01作为NameNode-1,node02作为NameNode-2
node02,node03,node04作为DataNode,并在q其上zookeeper集群
ZKFC分别位于node01,node02节点
journalnode位于node01,node02,node03节点
登录用户为root
选择node01为管理节点,若没有特殊说明,默认操作的都是node01节点
hadoop-2.6.5资源链接:
链接:https://pan.baidu.com/s/1NHTCtqHbsuKztpruSRyB-A
提取码:j0sg
zookeeper-3.4.6资源链接:
链接:https://pan.baidu.com/s/1CNzFnVDqOst5JuHsh5K61g
提取码:chzx
1 修改hosts文件
在每个节点的hosts文件末尾加上节点地址192.168.110.101 node01
192.168.110.102 node02
192.168.110.103 node03
192.168.110.104 node04
vim /etc/hosts
2 免密钥登录
为了使用hadoop的管理脚本控制所有节点,要使node01 获得其他节点的免密钥登录权限
另外为了node01和node02之间可以互相免登录(zkfc的需要)还要使node02节点获得node01节点的免密钥登陆权限
先完成node01对其他节点的免密钥登录
node01输入命令
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
在/root目录生成.ssh目录
进入.ssh目录,其中有密钥id_dsa和公钥id_dsa.pub
把公钥放到访问方的认证文件里即可获得免密钥登陆权限
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
原本需要密码