Hadoop集群配置方面有关报错问题

一.启动yarn和dfs后,查看进程时节点不全

在图中可以看到缺少了ResourceManager和NodeManager两个节点

解决办法:

最靠谱的方法是去查看日志来找到问题:

通过cd切换到logs下,通过输入指令来查看日志,并一直按住回车键加载进程查看是否有问题

 除了通过日志查看问题,还有可能是以下问题

1.配置问题,在进行配置时某个地方配置错误
正确的相关配置方法:vim hadoop-env.sh(记得cd切换到相应地方下)

vim core-site.xml 

vim mapred-site.xml

 vim hdfs-site.xml

 vim yarn-site.xml

vim workers 

 2.防火墙问题,检查防火墙是否关闭好

查看防火墙状态:systemctl   status   firewalld.service

关闭防火墙:systemctl   stop   firewalld.service

防火墙失效设置:systemctl   disable   firewalld.service

3.免密问题,检查免密是否免密完全

生成秘钥:ssh-keygen   -t   rsa

拷贝秘钥:ssh-copy-id   root@+虚拟机的名字

测试免密:ssh +虚拟机名字

二.yarn和dfs成功启动后,各个节点都有,但是在浏览器访问时只有一台虚拟机,并非三台都有

解决办法:

1.首先cd切换到current下

注:这里的current是来自于格式化后的data目录下 

2.修改current目录下的VERSION文件

3.修改VERSION文件中的内容

 通过观察我们可以发现三台虚拟机的datanodeUuid都是一样的,这里就是导致浏览器访问时只有一台虚拟机的原因了,所以我们要将它们改成不同的名字。

在这里我将二号与三号虚拟机的名字做了修改,然后wq保存并退出,注意在修改之前停止运行(./stop-all.sh),修改好以后再次启动yarn和dfs,最后再去访问浏览器。

 原因:因为很多时候因为克隆的问题,会导致三台虚拟机的datanodeUuid、storageleID完全相同,而我们只需要将另外两台里的配置稍微修改一下就行了

(在配置文件是要仔细,细心。遇到报错不可怕,可怕的是遇到错误不想办法去解决······祝大家学习有成)

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值