一、简介
今天帮助室友进行hadoop集群搭建过程中,遇到了几个简单但又容易忽视的问题,为此卡了一点时间,自己电脑上已经搭建过两次了(一次用UI界面,另一次用最小化版本),当再次为同学进行安装时还是花费了一定时间,有点小遗憾哈哈。
二、问题
(1)hadoop群起集群的时候启动datanode与nodemanager启动失败
解:workers文件中没有将集群中需要启动的主机名称加入进去。(workers PATH:/opt/module/hadoop-3.1.3/etc/hadoop/workers)
补充内容:
workers文件的详细解说
在hadoop的配置文件中,workers是一个用于指定哪些节点作为工作节点的配置项,在hadoop集群中,工作节点是实际执行任务的节点。
在该文件中,每行包含一个工作节点的主机名或IP地址,这些工作节点将hadoop集群用于执行mapreduce作业和其他任务。
简单来说,workers文件中就是将你想要作为工作节点的主机名或IP添加到其中,一旦配置好了workers文件,Hadoop将使用这个列表来确定哪些节点是工作节点,任务被分发到这些节点上执行。
这里要与slaves文件进行区分,slaves文件主要作用是告诉spark集群哪些节点是工作节点worker(sparks本人还未学习)
(2)namenode启动了但是web页面端通过hadoop主机名称+开放端口号无法访问
解:本地主机中没有进行主机名称映射,C:\Windows\System32\drivers\etc\hosts没有将ip地址与主机名称联系起来。(其中hosts一般情况下为只读文件,如果需要进行更改的话,可以在其他可写目录下创建一个普通的hosts文件,将映射主机名称放入其中,然后再复制会etc目录下面将原来的只读hosts文件进行覆盖。)
(3)JAVA代码中hdfsapi代码进行文件上传的时候一直出现class类名正则表达式匹配错误
解:看看是不是函数体中大括号多了一个,或者其他地方出错了。