学习笔记（四）配置hadoop集群错误详解

一. 当启动Hadoop时报错：ERROR: JAVA_HOME is not set and could not be found

首先如图我们输入运行启动配置文件报错，从报错的意思来看是JAVA_HOME的路径找不到，那么我们要找错误就要看我们在哪些地方配置了java的路径。而在我们配置Hadoop前有JAVA_HOME的路径的地方是有两个的，一个是环境变量的配置，一个是hadoop-env.sh当中的配置。

分为三种情况：

情况一（环境变量的配置）：首先使用java -version来看java是否配置成功，如果能出现当前java的版本号，相当于环境变量当中的配置是正确的，就不需要考虑这个情况了。

如果没有出现，则环境配置有问题，输入vim /etc/profile进入环境配置文件，找到对应的JAVA_HOME路径进行检查并更改，

更改完成后在末行输入：wq保存并退出

再更新环境配置文件的设置

source /etc/profile

 然后再输入java-version查看是否配置成功

情况二：进入到hadoop-env.sh当中查看是否添加JAVA_HOME的路径，检查是否有误，无误后则退出并从sbin目录下当中重新启动

vim hadoop-env.sh

 

情况三：如果上述两种情况都没有成功，则只能挨个检查hadoop的配置文件是否配置完整

注：修改hadoop配置文件后，记得在sbin目录下用./stop-all.sh来停止hadoop的所有进程，然后再启动一次集群

二. 采用scp进行拷贝报错ssh: Could not resolve hostname hadoop002: Name or service not known1

出错的意思是ssh无法解析主机名hadoop002：名称或服务未知。则说明免密配置时没配置好，我们直接查看并修改hosts配置文件

Vim /etc/hosts

 然后在hosts'中添加好hadoop002的ip即可，然后再使用scp分发即可

三. 当启动集群时出现hadoop001的SSH连接错误ssh connect to host port 22 No route to host

那么这个问题也是免密配置有问题，输入ssh hadoop001登入hadoop001登不进去

那么按照错误来看可能是hosts配置文件有问题

vim/etc/hosts

发现hadoop001的ip地址与之不对应。（因为我后来修改了hadoop001的ip地址，忘记修改hosts文件了）然后只需要修改为正确的ip地址即可。然后再登入hadoop001时，发现登入成功

四. 在配置完Hadoop的配置文件后，想用hdfs格式化结果出现一下错误：Command 'hdfs' not found

报错的意思是找不到hdfs命令，而找不到hdfs命令则是hadoop的环境配置有问题，因此关于hadoop和hdfs相关的命令都无法使用

进入环境配置

vi /etc/profile

查看并修改hadoop的path路径，查看是否配置正确，修改完成后保存并退出

然后使修改后的配置文件生效

source /etc/profile

再使用hdfs命令即可

五. Hadoop停止yarn集群时WARNING: nodemanager did not stop gracefully after 5 seconds

由此分析配置错误导致的问题，初步排查集群中的各台机器中， core-site.xml 、yarn-site.xml、mapred-site.xml配置文件是否一致，查看后，发现有两台机器不一致

解决方式：将 NodeManager所在的节点机器上面的core-site.xml 、yarn-site.xml、mapred-site.xml配置文件，分别用scp命令分发至后面两台机器。

scp -r /root/zh/soft/hadoop-3.2.2 root@hadoop02：/root/zh/soft/hadoop-3.2.2

scp -r /root/zh/soft/hadoop-3.2.2 root@hadoop03：/root/zh/soft/hadoop-3.2.2

然后再次停止时正常，在sbin目录下使用停止命令

./stop-all.sh

然后再启动就即可