解决DataNode不能全部启动问题 org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block

最新推荐文章于 2023-07-03 22:41:28 发布
最新推荐文章于 2023-07-03 22:41:28 发布
阅读量5.5k 收藏 9
点赞数 1
分类专栏： 大数据 文章标签： 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/perfer258/article/details/81432798
版权

问题描述：
FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.235.129:8020. Exiting.
java.io.IOException: All specified directories are failed to load.
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:478)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1338)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1304)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:314)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:226)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:867)
at java.lang.Thread.run(Thread.java:748)
处理办法：
1.停止集群。stop-dfs.sh
2.删除dfs.namenode.name.dir和dfs.datanode.data.dir 目录下的所有文件
3.重新格式化:bin/hadoop namenode -format
4.启动。start-dfs.sh

Julian Win
关注
专栏目录
解决DataNode Volume Failures故障
北方佳人
06-02 1万+
hadoop集群有一台DataNode节点发生硬件故障，由于后需需要长时间的处理，所以从Cloudera集群中剔除了该节点，在重新将该节点添加到集群时候发现DataNode节点爆DataNode 卷故障阈值警告二、解决过程2.1、排查故障排查DataNode日志发现如下错误： org.apache.hadoop.hdfs.server.datanode.DataNode: Failed to add volume:
【Bugs】hdaoop结点启动：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Bl
系'辞的博客
04-07 504
鸣谢——核心参考： 1.【Hadoop故障处理】全分布下，DataNode进程正常启动，但是网页上不显示，并且DataNode节点为空 问题描述: 【说明】分布式hadoop环境下，DataNode进程正常启动，但是但是hadoop的UI网页上显示DataNode节点为空 【说明】/etc/hosts 的ip和hostname配置正常，因为各服务器端ssh能互相ping通。 2021-04-07 21:26:35,038 ERROR org.apache.hadoop.hdfs.server.datan
后端分布式系列：分布式存储－HDFS 异常处理与恢复
iteye_2022的博客
09-02 357
在前面的文章 《HDFS DataNode 设计实现解析》中我们对文件操作进行了描述，但并未展开讲述其中涉及的异常错误处理与恢复机制。本文将深入探讨 HDFS 文件操作涉及的错误处理与恢复过程。 读异常与恢复 读文件可能发生的异常有两种： 读取过程中 DataNode 挂了 读取到的文件数据损坏 HDFS 的文件块多副本分散存储机制保障了数据存储的可靠性，对于第一种情况 DataN...
【HDFS问题】datanode启动失败的问题
ITRS范亚平
07-23 3243
场景1：故障目录容忍度大于等于数据目录数 报错：Invalid volume failure config value:1原因：dfs.datanode.data.dir只配了一个目录，但dfs.datanode.failed.volumes.tolerated配的是1；即只有一个目录，还允许一个目录不可用。解决：将dfs.datanode.failed.volumes.tolerated配置为0，或增加数据目录数。 后记： dfs.datanode.failed.volumes.tolerated
Hadoop：DataNode启动失败：Initialization failed for Block pool
初
07-03 2208
​在启动Hadoop集群后，发现原本应该是启动三台机子的数据节点，结果只有一台node2成功启动，另外两台（node1、node3）并没有启动，如下两图所示： 问题描述： ​确认配置信息没问题后，查看Hadoop下hdfs目录中的DataNode日志（配置文件中指定，比如笔者安装Hadoop所在路径为/export/server/hadoop/logs/hdfs），DataNode的日志文件为： cat该文件发现： 问题分析： 由于前一次启动Hadoop集群时，对node2这台机器上的Hadoop的
【Hadoop】Datanode启动失败
Vici__
03-12 398
启动hadoop后，用jps命令查看，始终没有DataNode。 解决办法： 首先关闭hadoop hadoop@vici-PC:/usr/local/hadoop$ ./sbin/stop-all.sh 进入tmp这个文件下（看好路径） hadoop@vici-PC:/usr/local/hadoop$ cd ./tmp 删除dfs hadoop@vici-PC:/us...
Hadoop 集群安装配置过程中 ，web 监控页面 datanode 节点不能成功显示 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode:
kekekeliang的博客
10-17 1964
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-117060438-192.168.xx.xx-1665735296906 (Datanode Uuid 51b77be5-c4d7-4fa3-b5ec-47596378be3f) service to master/192.168.10.11:9000 Datanode denied communication wit
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool
最新发布
09-21
对于初始化失败的 Block pool，这可能是由于多种原因引起的。以下是一些常见的解决方法： 1. 检查数据节点的配置文件...如果以上方法无法解决问题，请提供更多详细的错误信息和环境信息，以便我能够给出更具体的建议。
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException)
qq_30657195的博客
07-25 3336
今天重新部署了一个3个节点的hadoop完全分布式集群，在第一台节点上安装好hadoop后，使用了伪分布式模式对集群进行了上传文件操作，运行了wordcount案例。在进行完全分布式时，发现有个节点无法启动，查看该节点的 .log文件，发现在文件最后抛出了以下错误。仔细回顾操作过程后，这一系列操作是属于往集群中添加节点。于是，我关闭了集群，并在namenode节点的etc/hadoop目录下添加了...
hadoop从机datanode 启动失败，日志错误：java.io.IOException: Incompatible clusterIDs，Initialization failed for Bl
weixin_42760864的博客
06-20 728
当群起Hadoop集群时候，发现两台从机的datanode启动都是失败的状态，查看日志发现，错误信息是： 2019-06-20 09:53:12,874 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool (Datanode Uuid unassigned) service to hadoop102/192.168.3...
Hadoop DataNode启动失败
zhouliyang1990的专栏
11-20 787
通过分析启动日志后发现fs.data.dir参数设置的目录权限必需为755，要不启动datanode节点启动就会因为权限检测错误而自动关闭。 我之前一直设置成chmod 777 不行，要chmod 755就可以了。。这个要在Linux的文件权限那里设置。 $ chmod 755 -R  /home/hndxzly/hbase/hadoop-1.0.3/hdfs/data
FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registe...
weixin_30478923的博客
01-09 327
2018-01-09 09:47:38,297 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to controller/192.168.1....
Datanode启动问题 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block ...
weixin_30289831的博客
04-15 885
2017-04-15 21:21:15,423 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: supergroup = supergroup 2017-04-15 21:21:15,467 INFO org.apache.hadoop.ipc.CallQueueManager: Using callQueue: class ...
Hadoop下jps没有datanode，且data文件夹没有current
qq_44267691的博客
05-05 1万+
首先，我们再配置好hadoop后，利用 ./bin/hdfs namenode -format 格式化一下namenode，再 $ ./sbin/start-dfs.sh $ jps 开启之后，发现没有datanode，按照网上的方法，却发现我的tmp/dfs/data下面没有任何文件，而tmp/hdfs/name/下面有current，所以很是苦恼。 后来查询日志得知logs/下： vim ...
Hadoop运行jps后没有datanode进程
MK_qingzi的博客
11-22 6535
当我们用hadoop时候，运行完jps会发现自己的DataNode会无故消失。 就像这样。这是因为我们的临时文件遭受了损坏。 需要先停止所有jps服务。 因为我们要重新操作。进入我们根目录下的opt文件夹，这个文件夹是系统自动生成存放文件的。我们只要依次进入。 打开以后会看到这个文件 只需要把它删除在重新格式化一下HDFS 随后再重新启动你的所有服务就会发现你的Da...
Hadoop 数据节点DataNode异常
热门推荐
玄火的专栏
09-27 1万+
使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
DataNode启动失败解决
最长的电影
03-25 357
DataNode启动失败解决   第一步:查看日志   打开DataNode上的hadoop日志  在hadoop/logs下 查看类似于 hadoop-root-datanode-node3.log   查看错误    在日志中会看到 类似于这样的错误 Incompatible clusterIDs in /usr/hadoop/tmp/dfs/data:  nameno...
Hadoop DataNode不能启动，不能全部启动
LakerPauGasol的博客
03-06 3204
可以查看一下{hadoop文件路径}/etc/hadoop/slaves这个文件，这个文件是集群里所有DataNode的主机名，如果缺少某一个主机名，不能全部启动，将全部要启动datanode的主机名加入即可。目前有三台主机，配置如下：在hadoop102主机上执行启动脚本（自定义脚本或者start-dfs.sh或者start-all.sh）,datanode节点不能正常启动。解决方案：删除hadoop配置文件core-site.xml中指定的缓存数据路径中的数据，然后进行格式化操作。
Hadoop启动datanode失败或无法启动
weixin_44388193的博客
10-30 245
一、问题描述 当我多次格式化文件系统时，如 [root@master]# cd /usr/local/hadoop/etc/bin/hdfs namenode -format 会出现datanode无法启动，查看日志（/usr/local/hadoop/logs/hadoop-hadoop-datanode-xsh.log），发现错误为： 2018-0...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值