本文详细记录了一次在CentOS7上运行Hadoop2.7.3时遇到DataNode频繁退出的问题。问题由clusterID不匹配导致，分析日志发现多次format操作使得NameNode和DataNode的clusterID不一致。常规的修改VERSION文件中的clusterID并未解决问题，最终通过删除DataNode的current目录成功启动Hadoop集群。
1、问题背景
操作系统：CentOS7 64位
Hadoop版本：Hadoop2.7.3
JDK：1.8.0_65
2、问题描述
使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
3、问题原因
通过查看DataNode节点日志，报Incompatible clusterIDs异常。（注意如果没有配置hadoop日志路径默认在$HADOOP_INSTALL/logs目录下，也就是安装目录的logs文件夹里，当然可以修改hadoop-env.sh文件中的HADOOP_LOG_DIR，比如加入export HADOOP_LOG_DIR=/var/log/hadoop）。DataNode节点日志文件异常信息如下：
最低0.47元/天 解锁文章
扫一扫
936
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
