Hadoop完全分布式的搭建

本文介绍了如何搭建Hadoop的完全分布式集群,包括配置IP、主机名映射,关闭防火墙,SSH免密链接,修改环境变量,配置Hadoop相关文件,格式化HDFS以及启动集群的过程。重点关注主从节点的设置和配置文件的同步。
摘要由CSDN通过智能技术生成

其实完全分布式跟伪分布式的搭建方式基本相同,只有个别文件需要更改,那我们下面开始吧!

第一步还是配置IP地址,主机名,以及主机与IP地址的映射,教程在我上一篇的伪分布式搭建里面都有,在这里就不再叙述啦。

注:Hadoop完全分布式分为主从两个节点,主节点有一个,我这里将主节点的主机名命名为master,从节点有两个,分别定义为:slave1,slave2

第二步还是关闭防火墙,(记得三台虚拟机都要关闭哦!配置IP地址,主机名,以及主机与IP地址的映射也是三个设备都要操作,PS:可以先配置一个,然后使用scp命令拷贝到另外两个设备上)

第三步:还是将Hadoop与jdk文件解压到指定文件夹下,都是跟伪分布式相同的操作哈。(在master设备上完成

#解压到指定目录
tar -zxvf /root/hadoop-2.7.3.tar.gz -C /opt 
tar -zxvf /root/jdk1.8.0_144.tar.gz -C /opt
 
#查看
ll /opt

第四步:SSH免密链接(在master设备上完成!!!):

# 1、生成密钥对
ssh-keygen -t rsa
 
# 2、将公钥文件导出传递给本机,注意公钥文件的路径,操作是需要输入root用户的密码
ssh-copy-id -i /root/.ssh/id_rsa.pub master

# 3、将公钥文件导出传递给两个从节点,注意公钥文件的路径,操作是需要输入root用户的密码
ssh-copy-id -i /root/.ssh/id_rsa.pub slave1
ssh-copy-id -i /root/.ssh/id_rsa.pub slave2
 
# 4、检验,用ssh命令连接本机(无需密码)
ssh master

ssh slave1 
#进入slave1之后,需要先exit退出,再进行检验slave2
ssh slave2

第五步:修改环境变量文件并验证是否配置成功(文件在/etc/profile࿰

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值