Datanode 启动失败

最新推荐文章于 2024-07-06 03:08:00 发布
最新推荐文章于 2024-07-06 03:08:00 发布
阅读量128 收藏
点赞数 2
分类专栏： 大数据 trouble shotting 文章标签： 大数据 datanode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48391148/article/details/138118731
版权
文章讲述了在部署新大数据集群时，由于多次Namenodeformat导致clusterID变化，首次format后未更新DataNode的clusterID，引发DataNode启动失败。解决方法是将DataNode的clusterID改为Namenode的当前值。
摘要由CSDN通过智能技术生成

问题：启动datanode失败：

4998 2024-04-23 03:23:09,007 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid 308a97a6-6364     -41e0-b938-ce38457061a6) service to node82/192.168.84.82:8020. Exiting.
4999 java.io.IOException: All specified directories have failed to load.
5000     at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:565)
5001     at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1659)
5002     at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1620)
5003     at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:388)
5004     at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:282)
5005     at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:826)
5006     at java.lang.Thread.run(Thread.java:748)

原因：部署新大数据集群时执行了多次namenode format操作，导致clusterID 变化了，而我在第一次format操作后启动了一次datanode，所以启动datanode后/data/hadoop/hdfs/datanode/current/VERSION 里记录了第一次的clusterID，第二次format后clusterID发生了变化，导致datanode启动不了，

解决方法：

将/data/hadoop/hdfs/datanode/current/VERSION 里的clusterID改成/data/hadoop/hdfs/namenode/current/VERSION里的clusterID，集群里的每一台datanode都要改

Wangsh@
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop中datanode启动失败
混沌人的博客
01-02 174
NameNode启动失败： [root@lee000 mapreduce]# jps 7958 ResourceManager 8092 NodeManager 7550 DataNode 7759 SecondaryNameNode 8463 Jps 解决方案： NameNode格式化： hadoop namenode -format 重新启动： [root@lee000 sbin]# ./...
Hadoop datanode启动失败：Hadoop安装目录权限的问题
07-29
Hadoop datanode启动失败：Hadoop安装目录权限的问题
Hadoop 数据节点DataNode异常
热门推荐
玄火的专栏
09-27 1万+
使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
datanode启动失败
weixin_30652879的博客
04-14 93
当我动态加入一个hadoop从节点的之后，出现了一个问题： [root@hadoop current]#hadoop-daemon.sh start datanode starting datanode, logging to /usr/local/hadoop1.1/libexec/../logs/hadoop-root-datanode-hadoop.out [root...
hadoop datanode启动失败
dont_curry的博客
10-27 137
问题如上 这种问题在日志可以看到，其实是一个权限的问题，我们把data的目录所有者改为你当前的用户就可以了。 sudo chown -R user:user /usr/local/hadoop-2.9.2/dfs/data 注意目录改成自己的
centOS7 搭建Hadoop完全分布式时主节点的datanode启动失败
qq_45808446的博客
03-20 371
找到hdfs-site.xml文件下的dfs.data.dir 目录，然后对里面的data文件夹执行删除。首先可以查看master节点的datanode的日志文件，在启动时会有显示日志文件所在目录。然后再重新格式化名称节点。
【HDFS问题】datanode启动失败的问题
ITRS范亚平
07-23 3117
场景1：故障目录容忍度大于等于数据目录数 报错：Invalid volume failure config value:1原因：dfs.datanode.data.dir只配了一个目录，但dfs.datanode.failed.volumes.tolerated配的是1；即只有一个目录，还允许一个目录不可用。解决：将dfs.datanode.failed.volumes.tolerated配置为0，或增加数据目录数。 后记： dfs.datanode.failed.volumes.tolerated
Hadoop启动时datanode启动失败
qq_37618154的博客
07-03 980
1. Incompatible clusterIDs hadoop的data-node在它的版本文件里存储一个永久性的clusterID，当datanode启动时会检查并匹配namenode的版本文件里的clusterID，如果两者不匹配，就会出现"Incompatible clusterIDs"的异常。 　　每次格式化namenode都会生成一个新的clusterID, 如果只格式化了namenode，没有格式化此datanode， 就会出现”java.io.IOException: Incompatib
hadoop集群中DataNode启动失败
qq_43494678的博客
10-21 1499
前言 搭建了一个 HDFS 集群，用了 3 台虚拟机，1 台虚拟机是master作为NameNode节点；2 台虚拟机分别是slave1和slave2作为DataNode节点，具体的集群搭建过程可参考「快速搭建 HDFS 系统（超详细版）」这篇博文。 1 问题描述 在搭建 HDFS 集群的过程中，难免会遇到一些稀奇古怪的问题，就如我遇到的这个问题一样： ISSUE 1，HDFS 集群搭建并启动成功，1 个NameNode节点和 2 个DataNode节点也运行正常， 可以在各自的虚拟机中用jps命令查看正在
Hadoop HDFS datanode启动失败的两种情况和解决办法
学习笔记
07-07 3145
本人使用HDFS时遇到的两个问题，不包含其他可能导致HDFS启动失败的问题。 export HADOOP_HOME="/usr/local/hadoop/hadoop-版本" 情况1：datanode的$HADOOP_HOME/dfs/data文件夹非空 解决办法：清空datanode的$HADOOP_HOME/dfs/data文件夹 情况2：Hadoop的较高版本不使用slaves文件 解决方法：在namenode（master）的$HADOOP_HOME/etc/hadoop目录下应存在wor
Hadoop datanode重新加载失败无法启动解决.docx
09-26
Hadoop datanode重新加载失败无法启动解决 本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点，主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载...
hadoop启动日志
06-14
5. **事件记录**: 如任务的提交、启动、完成、失败等关键事件。 在`logs`目录下，你可以找到不同组件的日志文件，如`hadoop-root-namenode-hostname.log`、`hadoop-root-datanode-hostname.log`等。通过分析这些...
安装hadoop2.4.1,启动报错,麻烦帮忙看看是 (2).pdf
11-24
查看Hadoop的日志文件，如`hadoop/logs`目录下的`name-node.log`、`datanode.log`等，这些日志会提供更详细的错误信息，帮助定位问题。 9. **Hadoop集群初始化**： 如果是首次启动Hadoop，确保你已经完成了所有...
hadoop 关闭进程时报错no 进程 to stop
08-02
- 如果你有Hadoop的源码，并且对错误定位有深入需求，可以查看相关源码模块，特别是与进程管理和停止相关的部分，例如`ResourceManager`或`DataNode`的停止逻辑。 9. **工具使用**： - 使用如`jstack`或`ps`命令...
Memcached在大数据量下的挑战：性能瓶颈与优化策略
最新发布
2401_85761762的博客
07-06 469
Memcached是一个基于内存的分布式缓存系统，它通过减少对数据库的访问次数来提高应用程序的性能。它支持简单的数据存储和检索操作，并且是许多高流量网站的核心技术。
利用Java构建高可用的实时数据监控系统
技术研究中心
07-04 465
Java作为一种稳定和强大的编程语言，提供了丰富的工具和库来构建高可用的实时数据监控系统。本文探讨了利用Java构建高可用的实时数据监控系统的关键技术和实现方法。通过合理的技术选型和设计，开发人员可以搭建出稳定、高效的数据监控平台，满足不同应用场景的实时监控需求。：使用流式处理技术（如Apache Kafka、Apache Storm）来处理实时数据流，支持复杂的数据转换和分析。：设计响应式和用户友好的监控界面，支持自定义的图表和数据展示方式。：提供直观、易用的监控界面，帮助用户实时了解数据状态和趋势。
无锡哲讯：SAP赋能汽车零配件行业，加速企业数字化转型
zhexun622的博客
07-04 405
随着科技的不断进步和消费者需求的日益多样化，如何通过高效的资源管理和生产流程优化，提升竞争力，已成为汽车零配件企业亟待解决的问题。实施服务，助力汽车零配件企业把握数字化转型的机遇，提升管理水平，增强核心竞争力。生产计划与排程：面对多样化的订单需求，需要灵活的生产计划和排程来满足生产效率和客户交付要求。供应链协同：汽车零配件供应链复杂，需要高效的供应链管理来确保物料的及时供应和成本控制。系统支持灵活的生产计划和排程，优化生产流程，提高生产效率。系统实现供应链的透明化，提高供应链的协同效率和响应速度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值