搭建Hadoop运行环境

本文详细介绍了如何配置Hadoop2.7.6集群,包括配置映射文件、环境变量、免密登录,以及修改core-site.xml、mapred-site.xml、slaves和yarn-site.xml等关键文件。最后指导了格式化namenode和启动集群的步骤,以及验证集群是否成功的检查方法。
摘要由CSDN通过智能技术生成

文件内容见Hadoop集群搭建.pdf

第一步,先配置好映射文件:

/etc/hosts

第二步,配置免密登录

注意:

为避免错误最好三台分别配置

输入数字时选择键盘横列的数字键,不要选择右边九宫格键,(会输入乱码)

部分注意之处:

解压过后进入hadoop-2.7.6配置环境变量

cd /usr/local/soft/hadoop-2.7.6

将master配置好的环境变量分发到node1,node2对应的位置

scp -r /etc/profile node1:/etc/profile
scp -r /etc/profile node2:/etc/profile

 分发完成后需要在三台虚拟机中输入 

source /etc/profile

修改core-site.xml文件位置:

 

修改mapred-site.xml.template文件:

先复制:

cp mapred-site.xml.template mapred-site.xml

再修改 mapred-site.xml文件:

修改 slaves文件:删除原来的内容

修改yarn-site.xml文件:也需要删除原来内容

 scp -r hadoop-2.7.6/ node1:`pwd`

hadoop-2.7.6:master的soft下的hadoop-2.7.6文件

pwd:node1的相同位置

hdfs namenode -format只能在master输入

后续步骤根据文件内容即可

验证是否成功:

1.在master启动集群

start-all.sh

查看jps节点

 

2. 查看是否有网页

192.168.64.100:50070

  • 10
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值