第一章 hadoop集群搭建

1.搭建三台机子节点说明:

hadoop1:NameNode,DataNode,NodeManager,SecondaryNameNode,ResourceManager

hadoop2:                    DataNode,NodeManager

hadoop3:                    DataNode,NodeManager


2.配置三台环境(Linux文章有介绍)

1)修改IP

2)修改

3)修改主机名和IP映射关系

4)关闭防火墙

5)配置ssh免密登陆

6)安装JDK


3.上传hadoop安装包并解压


4.修改hadoop配置文件(/hadoop-2.4.1/etc/hadoop/)

1)vi hadoop-env.sh


2) vi core-site.xml


3) vi hdfs-site.xml


4)修改mapred-site.xml.template名称


5) vi mapred-site.xml


6) vi yarn-site.xml


7) vi slaves(修改此文件,能够一键启动三台机子的hadoop)




6.将hadoop文件夹传送给其他两台机子



7.配置hadoop的环境变量



8.将环境变量传给其他两台机子



9.初始化三台机子的环境变量

source /etc/profile


10.格式化NameNode

hadoop namenode -format


11.启动hadoop

先启动HDFS: ./start-dfs.sh

再启动YARN: ./start-yarn.sh


12 管理界面

HDFS管理界面: http://hadoop1:50070

MR管理界面: http://hadoop1:8088

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值