hadoop集群搭建过程中遇到的问题(初步三个)

一、简介

今天帮助室友进行hadoop集群搭建过程中,遇到了几个简单但又容易忽视的问题,为此卡了一点时间,自己电脑上已经搭建过两次了(一次用UI界面,另一次用最小化版本),当再次为同学进行安装时还是花费了一定时间,有点小遗憾哈哈。

二、问题

(1)hadoop群起集群的时候启动datanode与nodemanager启动失败

解:workers文件中没有将集群中需要启动的主机名称加入进去。(workers PATH:/opt/module/hadoop-3.1.3/etc/hadoop/workers)

补充内容:

workers文件的详细解说

在hadoop的配置文件中,workers是一个用于指定哪些节点作为工作节点的配置项,在hadoop集群中,工作节点是实际执行任务的节点。

在该文件中,每行包含一个工作节点的主机名或IP地址,这些工作节点将hadoop集群用于执行mapreduce作业和其他任务。

简单来说,workers文件中就是将你想要作为工作节点的主机名或IP添加到其中,一旦配置好了workers文件,Hadoop将使用这个列表来确定哪些节点是工作节点,任务被分发到这些节点上执行。

这里要与slaves文件进行区分,slaves文件主要作用是告诉spark集群哪些节点是工作节点worker(sparks本人还未学习)

(2)namenode启动了但是web页面端通过hadoop主机名称+开放端口号无法访问

解:本地主机中没有进行主机名称映射,C:\Windows\System32\drivers\etc\hosts没有将ip地址与主机名称联系起来。(其中hosts一般情况下为只读文件,如果需要进行更改的话,可以在其他可写目录下创建一个普通的hosts文件,将映射主机名称放入其中,然后再复制会etc目录下面将原来的只读hosts文件进行覆盖。)

(3)JAVA代码中hdfsapi代码进行文件上传的时候一直出现class类名正则表达式匹配错误

解:看看是不是函数体中大括号多了一个,或者其他地方出错了。

问题就是这么三个啦,希望对遇到此问题的小伙伴有帮助
  • 14
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值