搭建Hadoop环境

1)准备Hadoop服务器   
    NewBieMaster
    NewBieSlave1
    NewBieSlave2

2)设置这3台服务器之间的免密码登录。

3)为这3台服务器安装JDK并且设置JAVA_HOME,JAVA_HOME的路径最好相同。

4)从官网下载Hadoop安装包,然后解压缩至 /home/user/hadoop-3.2.2

5)在Master,Slave1和Slave2上 为Hadoop配置系统环境变量。

6)在Master上 配置hadoop-env.sh文件

7)在Master上 创建 namenode,datanode和tmp目录

8)在Master上配置hdfs-site.xml文件,设置 name node的监听地址和端口,namenode和datanode目录

9)在Master上修改core-site.xml文件,设置namenode对datanode的监听地址和端口,以及tmp文件的目录。

10)在Master上修改mapred-site.xml文件。

11)在Master上配置yarn-site.xml文件。

12)在Master上修改slaves workers文件,同时移除/home/user/hadoop-3.2.2/share/doc文件

13)将配置好的Hadoop目录 /home/user/hadoop-3.2.2 同步到Slave1上和Slave2上。

scp -r /home/user/hadoop-3.2.2 user@192.168.1.88:/home/user/hadoop-3.2.2
scp -r /home/user/hadoop-3.2.2 user@192.168.1.99:/home/user/hadoop-3.2.2

14)在3个服务器上格式化dfs的namenode。

15)启动集群, 测试Sample MapReduce。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值