Hadoop 数据节点DataNode异常

最新推荐文章于 2023-06-20 22:30:46 发布

原创

最新推荐文章于 2023-06-20 22:30:46 发布 · 1.3w 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

1、问题背景

操作系统：CentOS7 64位
Hadoop版本：Hadoop2.7.3
JDK：1.8.0_65

2、问题描述

使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。

3、问题原因

通过查看DataNode节点日志，报Incompatible clusterIDs异常。（注意如果没有配置hadoop日志路径默认在$HADOOP_INSTALL/logs目录下，也就是安装目录的logs文件夹里，当然可以修改hadoop-env.sh文件中的HADOOP_LOG_DIR，比如加入export HADOOP_LOG_DIR=/var/log/hadoop）。DataNode节点日志文件异常信息如下：

/**************************************************/
2016-09-26 16:38:56,122 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/tmp/hadoop-hadoop/dfs/data/
java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-ha