关于Hadoop安装过程遇到的问题
这些问题背景是由于机器是阿里云的机器,网络原因导致的,所以大家查看是否符合自己的情况。
心态
遇到安装错误,不要心浮气躁,安静下来去找日志文件。Hadoop的日志文件在安装目录下的/log文件夹。如果哪一块报错,就查看哪一块的日志文件。
对了,在使用Hadoop之前,最好会一些基本命令。
步骤:
查看日志文件,如果你的datanode报错,那么就查看响应的.log文件。
问题一:dataNode启动不了
查看nameode的日志文件发现,datanode和namenode的CID码不一致,导致
报错信息:
java.io.IOException: Incompatible clusterIDs in /export/servers/hadoop-3.2.1/hadoopDatas/datanodeDatas: namen93d-eef64f8556b4
那么是由于你启动是造成的文件冲突,在你的所有服务器节点的Hadoop目录下的,删除nodedata(这是在配置Hadoop时生成的文件夹,如果不清楚请看:
https://blog.csdn.net/qq_43524965/article/details/110356006
)下的nameDatas下的current文件。
注意:所有节点都需要删除
问题二:网页无法正常访问50070端口
无法访问:http://node01:50070
解决思路:netstat -anu |grep 50070
如果
如果前面的IP地址不是0.0.0.0,那么就访问不了,所以我们需要更改配置文件:core-site.xml
,找到50070端口,然后将其前面的IP地址改为0.0.0.0
问题三:网页无法正常访问19888端口
与问题二相似,只不过需要更改mapred-site.xml
,将19888前的端口改为0.0.0.0
问题四:无法访问8088端口
与问题二相似,只不过更改配置文件yarn-site.xml
为: