hadoop3.1.0集群搭建

实现步骤:

1、 利用Vmware10来构建虚拟机,我们需要三台虚拟机,虚拟机配置一个即可,进行克隆操作;

2、 于/etc/hostname处分别修改主机名为master,slave1,slave2;

3、 防火墙设置:虚拟机必须都关闭防火墙才能启动集群

Systemctl status firewalld.service 检查状态

Systemctl stop firewalld.service 关闭

Systemctl disable firewalld.service 防止开机自启

4、 配置/etc/hosts;

5、 下载解压并配置JDK;于/etc/profile处配置路径:/home/renchao/java/jdk1.8.0_171

6、 免密匙登录;操作需在用户renchao下而不是root用户;把三个主机上通过ssh-keygen–t rss生成的公匙合并为authorized_keys,然后分别放置在各主机生成存放密匙/home/renchao/.ssh的目录下.

此处要修改.ssh文件夹的权限chmod600 ~/.ssh/authorized_keys

7、 下载解压并配置hadoop;路径:/home/renchao/hadoop/hadoop-3.1.0

(spark,scala这些是后面的配置)

8、 配置hadoop文件;在/home/renchao/hadoop/hadoop-3.1.0/etc/hadoop下

(1)hadoop-env.sh

(2)yarn-env.sh

(3)core-site.xml

(4)hdfs-site.xml

(5)yarn-site.xml

(6)mapred-site.xml

(7)workers(配置集群时,workers这个配置文件是保证集群在 start-dfs.sh 时候是否帮你启动 slave 的 datanode 的,如果不配置,只启动主节点。)

问题总结:

1、 途中出现No routeto host问题,分析后发现主机master没有关闭防火墙;

2、 启动集群时不要频繁格式化文件系统;

3、 Hadoop3上面配置workers来替代slaves;

4、 当datanode没起来时,可以删掉tmp文件夹和hdfs/name、hdfs/data文件夹,重新格式化后再启动集群;

5、 浏览器辅助显示问题:hadoop3上面端口有改变,192.168.218.131:9870;

6、(待解决)nodemanager did not stop gracefully:

结果演示:

hdfs dfsadmin –report

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值