Hadoop HDFS datanode启动失败的两种情况和解决办法

最新推荐文章于 2023-11-24 14:00:21 发布
最新推荐文章于 2023-11-24 14:00:21 发布
阅读量2.9k 收藏 4
点赞数 2
分类专栏： HDFS Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45249947/article/details/118547904
版权

本人使用HDFS时遇到的两个问题，不包含其他可能导致HDFS启动失败的问题。

export HADOOP_HOME="path-to-hadoop/hadoop-版本"

情况1：namenode格式化后，datanode的$HADOOP_HOME/dfs/data文件夹非空

解决办法：清空datanode的$HADOOP_HOME/dfs/data文件夹

情况2：Hadoop的较高版本不使用slaves文件

解决办法：在namenode（master）的$HADOOP_HOME/etc/hadoop目录下应存在workers文件。若存在slaves文件，可通过复制slaves文件获得workers文件。

查看HDFS configuration：$HADOOP_HOME/etc/hadoop/hdfs-site.xml

启动HDFS后查看HDFS状态：$ hdfs dfsadmin -report，列出的live datanode是启动成功的datanode

制作一个正确的我
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop HDFS原理分析，技术详解
12-01
HDFS概述，HDFS客户端操作，HDFS数据流，namenode工作机制，datanode工作机制，HDFS 高可用集群配置
hadoop单节点datanode启动不了
DDDHL_的博客
12-24 3582
start-all.sh无法启动datanode，start datanode也无法启动
Hadoop存储系统HDFS的文件是分块存储.docx
03-26
第三章 分布式文件系统HDFS3 Hadoop存储系统HDFS的文件是分块存储，每个文件块默认大小为32MB。 T F 评测结果：答案正确（5 分） 1-2 HDFS系统采用NameNode定期向DataNode发送心跳消息，用于检测系统是否正常运行。 T F
hadoop动态增加和删除节点方法介绍
01-10
上一篇文章中我们介绍了Hadoop编程基于MR程序实现倒排索引示例的有关内容，这里我们看看如何在Hadoop中动态地增加和删除节点（DataNode）。 假设集群操作系统均为：CentOS 6.7 x64 Hadoop版本为：2.6.3 一、动态增加DataNode 1、准备新的DataNode节点机器，配置SSH互信，可以直接复制已有DataNode中.ssh目录中的authorized_keys和id_rsa 2、复制Hadoop运行目录、hdfs目录及tmp目录至新的DataNode 3、在新DataNode上启动hadoop ..sbin/hadoop-daemon.sh
HDFS 单点改造方案对比
liuhong的专栏
08-09 2731
HDFS 单点改造方案对比 1背景 目前，HDFS集群的架构包括了单个Name Node和若干个DataNode。Name Node负责两方面的事情：一方面是存储和管理整个命名空间，包括创建、修改、删除和列举文件目录等文件系统级别的操作；另一方面是管理Data Node和文件块。Data Node主要负责文件块的持久化存储和远程访问。 1.1命名空间管理 HDFS的命名空间包含目录
hadoop集群错误
error_404_11的博客
03-24 1357
hadoop集群出现错误
HDFS 集群无法启动 DataNode 节点以及管理界面缺少 DataNode 节点的解决方法
CG国斌的博客
03-21 9447
文章目录前言1 问题描述2 尝试解决2.1 解决 ISSUE 22.1 解决 ISSUE 1 前言 搭建了一个 HDFS 集群，用了 3 台虚拟机，1 台虚拟机是master作为NameNode节点；2 台虚拟机分别是slave1和slave2作为DataNode节点，具体的集群搭建过程可参考「快速搭建 HDFS 系统（超详细版）」这篇博文。 1 问题描述 在搭建 HDFS 集群的过程中，难免会遇...
hadoop集群搭建--启动hdfs时NameNode或DataNode或SecondaryNameNode启动失败解决方法
hahatu_的博客
11-24 2734
不管少了哪个进程，先不要烦躁，对应找到操作日志，查看最新错误信息，找到原因，google AI具体报错信息，即可解决。
大数据之hadoop启动失败问题集锦
Gavin
03-04 1711
启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 对应你的机器名，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中，所以应该查看这个后缀为 .log 的文件；
解决DataNode不能全部启动问题 org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block
perfer258的博客
08-05 5533
问题描述： FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.235.129:8020. Exiting. jav...
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
Hadoop_HDFS和MapReduce架构浅析_郝树魁.pdf
11-21
在简述Hadoop namenode、datanode运行模式的基础上,重点介绍了Hadoop MapReduce的工作机制,并以作业提交、作业初始化、任务分配、任务执行和任务进度更新等流程介绍了Job Client、JobTracker、TaskTracker和HDFS在...
hadoop hdfs配置设置和优化
04-09
dfs.datanode.du.reserved - 磁盘满了导致的问题很难预料，HDFS可能会导致部分数据写入异常，MySQL可能会出现直接宕机等等， 所以最好的办法就是：不要使盘的利用率达到100%。 - 数据存储周期规划好，定期清理...
hadoop环境配置过程中可能遇到问题的解决方案
热门推荐
姚光超的专栏
07-24 5万+
Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突。解决方案就是删除我们自己向系统添加的jar包，重新配置。将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便，但是这不是一种好习惯，我们应该通过修改CLAS
记一次hadoop namenode 启动失败问题及解决过程（启动几秒钟后又挂了）
破晓的成长之路
08-19 5996
这是个小问题，但如果新手接触的话可能会花费一番时间才能解决，甚至会不知所措。在此重点记录的还是解决问题的方式。 **问题描述：**在自己虚拟机上新安装了hadoop。在做单节点启动测试时发现namenode启动几秒钟后又挂了，datanode还是好好的。难不成是资源问题？敲入free -h、top查看了一下节点资源使用情况，没问题呀。尝试着又重启一下namenode，嗯，几秒后又挂了。 居然感到很...
Hadoop使用常见问题以及解决方法
千里之行,始于足下
09-15 9018
<br />Hadoop使用常见问题以及解决方法 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out<br />Answer：<br />程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。<br />修改办法：<br />修改2个文件。<br />        /etc/security/limits.conf<br />vi /et
Hadoop之HDFS及NameNode单点故障解决方案
weixin_33757911的博客
07-24 2942
Hadoop之HDFS 版权声明：本文为yunshuxueyuan原创文章。如需转载请标明出处：http://www.cnblogs.com/sxt-zkys/QQ技术交流群：299142667 HDFS介绍 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。 什么是分布式文件系统 分布...
hdfs启动失败的原因[Fatal Error] hdfs-site.xml:22:2: The markup in the document following the root element m
weixin_45892401的博客
07-24 4622
日志中显示 [Fatal Error] hdfs-site.xml:22:2: The markup in the document following the root element must be well 表示是hdfs-site.xml配置文件的问题，因为曾经因为为了提交jar包到spark集群，配置了一个忽略用户访问权限的代码， 但是没有让将代码包括起来，所以配置文件错误，修改成如图一样就可以了。 ...
高分项目 基于STM32单片机的宠物RFID阅读器源代码+项目资料齐全+教程文档.zip
最新发布
05-08
【资源概览】 高分项目 基于STM32的宠物RFID阅读器源代码+项目资料齐全+教程文档.zip高分项目 基于STM32的宠物RFID阅读器源代码+项目资料齐全+教程文档.zip高分项目 基于STM32的宠物RFID阅读器源代码+项目资料齐全+教程文档.zip 【资源说明】 高分项目源码：此资源是在校高分项目的完整源代码，经过导师的悉心指导与认可，答辩评审得分高达95分，项目的质量与深度有保障。 测试运行成功：所有的项目代码在上传前都经过了严格的测试，确保在功能上完全符合预期，您可以放心下载并使用。 适用人群广泛：该项目不仅适合计算机相关专业（如电子信息、物联网、通信工程、自动化等）的在校学生和老师，还可以作为毕业设计、课程设计、作业或项目初期立项的演示材料。对于希望进阶学习的小白来说，同样是一个极佳的学习资源。 代码灵活性高：如果您具备一定的编程基础，可以在此代码基础上进行个性化的修改，以实现更多功能。当然，直接用于毕业设计、课程设计或作业也是完全可行的。 欢迎下载，与我一起交流学习，共同进步！
hdfs datanode启动失败
09-19
根据提供的引用内容，如果hdfs datanode启动失败，可以尝试以下方法解决问题： 1. 在没有启动datanode上的主机上尝试，单独启动datanode，使用命令：sbin/hadoop-daemon.sh start datenode。如果启动成功，则可能是缺少slaves配置的问题。可以使用命令关闭datanode：sbin/hadoop-daemon.sh stop datenode，然后修改slaves配置文件。 2. 如果启动失败，可能是由于多次执行hadoop namenode -format 导致datanode的version里的Cluster-Id不一致。可以尝试重新格式化datanode，使用命令：hadoop namenode -format。 3. 最后重新启动hadoop即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值