hadoop集群中datanode启动不了

最新推荐文章于 2023-10-27 09:01:05 发布

zeIx_

最新推荐文章于 2023-10-27 09:01:05 发布

阅读量1k

点赞数 2

分类专栏：大数据文章标签： hadoop 大数据 hdfs

本文链接：https://blog.csdn.net/InsectsAwaken_/article/details/105544170

版权

当Hadoop集群中的DataNode无法启动时，可能由于DataNode和NameNode的clusterID不一致导致。格式化NameNode会产生新的集群ID，必须先删除data数据和log日志。通过查看日志文件可以发现ID不匹配问题，解决办法是删除data数据，然后重启DataNode。

摘要由CSDN通过智能技术生成

主要可能的原因：

DataNode和clusterID和NameNode的clusterID不匹配
格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。（目前我只删除了data数据就可以正常工作）

查看两个ID的命令：

[atguigu@hadoop101 hadoop-2.7.2]$ cd data/tmp/dfs/name/current/
[atguigu@hadoop101 current]$ cat VERSION
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

[atguigu@hadoop101 hadoop-2.7.2]$ cd data/tmp/dfs/data/current/
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

查看日志文件，会显示出两个id不匹配：

当前目录：/opt/module/hadoop-2.7.2/logs

[atguigu@hadoop102 logs]$ ll
total 772
以下是日志的列表（部分）
-rw-rw-r--. 1 atguigu atguigu  36723 Apr 14 15:08 hadoop-atguigu-datanode-hadoop101.log
-rw-rw-r--. 1 atguigu atguigu