hadoop datanode启动失败（All directories in dfs.data.dir are invalid）

最新推荐文章于 2020-08-30 15:59:30 发布

starfe-geek

最新推荐文章于 2020-08-30 15:59:30 发布

阅读量7.1k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/xyls12345/article/details/23938087

版权

在扩容Hadoop节点时，由于磁盘空间满导致DataNode停机。为防止数据丢失，数据被复制到新节点，但在尝试使用hadoop_daemon.sh启动DataNode时失败。日志显示所有dfs.data.dir目录都无效。

摘要由CSDN通过智能技术生成

由于hadoop节点的磁盘满了，导致节点死掉，今天对其进行扩容。首先，将原节点的数据拷贝到目标节点下，从而避免数据的丢失，但是在执行hadoop_daemon.sh start datanode后没有启动datanode，查看log如下：

2014-04-17 11:44:06,200 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /hadoop_data/hadoop/hdfs/data/hadoop-hadoop, expected: rwxr-xr-x, while actual: rwxrwxr-x
2014-04-17 11:44:06,200 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
2014-04-17 11:44:06,201 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2014-04-17 11:44:06,202 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: