hadoop启动却发现datanode未启动

最新推荐文章于 2023-05-16 14:31:29 发布
最新推荐文章于 2023-05-16 14:31:29 发布
阅读量1k 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/hjtlovelife/article/details/52496031
版权

跟踪hadoop2.7.2/logs/hadoop-root-datanode-master.log日志文件发现datanode启动失败：

......

org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.247.192:9000. Exiting. 
java.io.IOException: All specified directories are failed to load.
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:478)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1358)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1323)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:317)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:223)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:802)
at java.lang.Thread.run(Thread.java:745)

......

之前我每次启动hadoop都会格式化一次，导致namespaceid不一致



只道当时是寻常
关注
专栏目录
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 8975
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
Hadoop启动以后，DataNode无法启动，不报错
qq_44176343的博客
11-09 1139
这个就是当我们启动Hadoop时候，查看的时候会发现DataNode启动不了，但是也没有报错，那么这个问题怎么解决呢？ 解决办法 1.先看hdfs-site.xml是否正确 2.打开NameNode下的VERSION文件，复制其cluster ID一行，然后在粘贴到datanode下面的VERSION中。具体步骤如下： 现在就打开了VERSION文件，我们将clusterID一行复制，然后按一下Esc按键，再按“：”，然后输入wq（保存并退出），按回车。 我们再次用jps查看进程，发现进程中已经有D.
hadoop datanode未启动
飘过的春风
11-26 684
查看日志，报错 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /usr/hadoop-1.2.1/hdfs/data: namenode  namespaceID = 697999702; datanode namespaceID
Hadoop的datanode没有启动
默主归沙的博客
03-17 2799
千万别多次格式化hadoop，因为datanode的id只有是第一次生成的，不会和namenodeid同步 datanode启动失败，直接无法上传文件到hdfs中 解决方法： 查看hdfs-site.xml文件 cd /usr/loca/hadoop/etc/hadoop 查看上面两个文件夹 可以查看namenode和datanode的集群id 比如查看namenode 只要查看到current/VERSION就可以查看到 都是查看VERSION 上图是datanode .
hadoop 未启动datanode
suejl的专栏
05-02 1012
分别运行 start-dfs.sh, start-yarn.sh jps后只有
hadoop启动中缺少datanode
weixin_30627341的博客
06-03 249
原文链接地址：https://blog.csdn.net/islotus/article/details/78357857 本人测试有效： 首先删除hadoop下的dfs文件（注：本文件不一定在hadoop的安装目录下）我的安装目录地址为：/home/username/hadoop/dfs 执行命令 rm -r dfs 删除 然后进入hadoop安装目录下：（cd /home/guoha...
Hadoop datanode 无法启动
zzbxyz
04-02 368
今天在启动Hadoop集群的时候，datanode结点一直起不来。原因是因为VERSION不一致。解决方法：删除hdfs-site.xml中设置的dfs.namenode.name.dir和dfs.datanode.dadta.dir节点指定的目录下的文件夹，然后重新format namenode和启动hadoop就可以了。原因：/datanode不被namenode识别的问题 namenode在...
启动Hadoop后 jps 没有出现DataNode进程 的解决方法
KingSuccesHou的博客
02-26 8555
一、出现问题的原因 在启动Hadoop之前，进行了多次的格式化，导致DataNode的ID发生了变化。 二、问题解决方法 我们可以让NameNode的clusterID与DataNode的clusterID一致，这样就可以解决这个问题了。 1.首先去到你的hadoop目录下 2.在进入到 hadoop-2.8.1/tmp目录下 3.在进入到dfs中 ls 4.在进入到目录name中ls 5.在进入到current中ls 6.使用命令（vi或vim）打开VERSI..
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 5691
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
【问题解决】hadoop datanode无法启动
weixin_41080602的博客
11-16 339
hadoop 配置描述：namenode: master    secondartynamenode :slave2 datanode: master slave1 slave2 问题描述：master多次执行dfs格式化指令以后,namenode secondarynamenode 启动正常，datanode无法启动 问题产生原因参考：http://blog.sina.com.cn/
Hadoop小知识：DataNode没有启动的原因和解决方法（同浏览器输入master：50070后不显示node节点问题）
L缶神的博客
04-01 5665
问题：我们在使用Hadoop时，如果发现这个问题：图中的Node显示为空的情况。 原因:我们在第一次安装完Hadoop后已经格式化了，但后来我们再次登录又进行格式化，就会形成多次格式化导致这种情况的发生。在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。 解决办法： 1、进入Hadoop的安装目录，在进入logs目录，找到最新的一条日志文件 2、进入这个日志文件 3、复制红框信息 4、...
启动hadoop时，datanode没有启动成功
lxn的专栏
01-27 952
hadoop中的datanode启动失败
hadoop 集群开启之后datanode没有启动
BlueSky
03-16 1万+
datanode没有启动 将hadoop配置文件修改后，重新格式化了hadoop集群，即 hadoop name -format但是此时发现slave节点没有启动datanode 上网查找解决方法，最后终于解决了，解决方法如下： 1. 先执行stop-all.sh暂停所有服务 2. 将所有Salve节点上的tmp(即 hdfs-site.xml 中指定的 dfs.data.dir 文件夹
datanode----nitialization failed for Block pool <registering> (Datanode Uuid unassigned) service to
qq_23559599的博客
01-08 4870
2016-01-08 11:34:57,575 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to node167/172.24.2.167:9000. Exiting. java.io.
Hadoop DataNode启动失败
dacoolbaby的专栏
12-14 286
DataNode启动失败： 2012-12-14 00:48:19,242 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/hadoop/hadoop-1.0.4/data, expected: rwx...
AMS启动报错 hbase-ams-master.pid doesn‘t exist after starting of the component
最新发布
康师傅没有眼泪
05-16 975
Ambari Metrics, Metrics Collector 启动报错如下：stderr:stdout:根据上面 的日志分析是AMS 自带的HBase 问题，所以解决方法想到了 删除数据让服务自动重建数据库。
启动hadoop 2.6遇到的datanode启动不了
热门推荐
zhangt85的专栏
12-22 4万+
查看日志如下: 2014-12-22 12:08:27,264 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:50075 2014-12-22 12:08:27,692 INFO org.apache.hadoop.hdfs.server.datanode.Data
Hadoop中DataNode启动失败【hadoop】
cold的博客
06-01 175
原因： 绝大部分是频繁使用格式化命令hdfs namenode -format导致的完全分布下，集群id和新块池不对应，伪分布下，NameNode和DataNode的id不对应，id不同，无法建立联系 解决： 执行格式化命令时，出现re-format........（Y/N）那一行,删除对应路径下的tmp文件夹全部内容，再格式化 ...
hadoop启动后没有datanode
05-09
如果Hadoop启动后没有datanode，可能有以下几个原因： 1. 检查防火墙设置：防火墙可能会阻止datanode与namenode之间的通信，你可以尝试禁用防火墙或者开放Hadoop所需的端口。 2. 确保Hadoop配置正确：检查Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值