datanode消失，并且data文件夹不见了的解决方法

已于 2022-11-25 20:59:28 修改
阅读量2.4k 收藏 14
点赞数 4
文章标签： hadoop 大数据 hdfs
于 2022-11-25 17:12:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alcheee/article/details/128041365
版权

jps后发现datanode突然消失不见，查找hadoop log直接未发现datanode日志，在data/hadoop/hdfs/下只有name未发现data文件夹，并且slave节点正常，这种情况可以单独启动datanode，在HADOOP_HOME输入sbin/hadoop-daemon.sh start datanode

然后jps后就能发现datanode回来了，并且在启动一次hadoop就行，但是以后都要用这种方式启动，更好的方法还在寻找中。

 

alcheee
关注
  • 4
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
datanode出现自动关闭状况
C-A-L-D
09-05 876
初学Hadoop，学习过程遇到很多问题，也总结了解决办法！ 很简单，有日志首先看日志，没日志的就要看配置了 今天遇到奇怪的事情，昨天搭建的伪分布式运行Hadoop平台，今天重新运行就出毛病了（datanode出现自动关闭） 查看datanode日志找出问题 查看日志如下: 从日志上看，框起来的说明了问题 datanode的clusterID 和 namenode的clu...
hadoop搭建过程.docx
06-10
HADOOP 搭建过程.docx 详细步骤说明. 免费下载
完全分布中消失的DataNode(伪分布，完全分布均可用）
最新发布
m0_74949561的博客
04-11 165
中保存的current/VERSION文件中的clustreID的值是上一次格式化保存的clusterID。这样，datanode和namenode之间的ID不一致。所以datanode进程“消失了”。这个一般是因为namenode进行了多次的格式化bin/hdfs namenode -format，导致namenode的clusterID和datanode的clusterID不同。今天解决的问题是Hadoop3，Hadoop4机子中进程中缺少了DataNode。目录下的name和data全部。
【大数据分析与应用】Hadoop: 启动后发现没有DataNode
zombotany的博客
10-16 2347
DataNode的ClusterID与NameNode的ClusterID不完全一致。
HDFS 没有DataNode的解决办法
zhangyuhaifa的专栏
08-20 2733
原因：多次格式化，再启动会出现没有datanode 解决：首先vi core-site.xml 看有没有配置tmp 如果有，直接到此目录下删除data 如果没有配置，直接找根目录下的tmp目录 然后rm- rf data,再格式化一次 hdfs namenode -format 再重启start-dfs.sh （前提是你已经stop-dfs.sh） 打完收工 ...
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 2709
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
启动Hadoop后 没有DataNode进程 的解决方法
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
Hadoop datanode重新加载失败无法启动解决.docx
09-26
本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点，主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载失败的原因有很多，可能是由于配置文件错误...
hadoop常见问题及解决方法
12-23
解决方法：NameNode启动时，首先进入安全模式，如果DataNode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统一直处于安全模式状态，即只读状态。可以通过dfsadmin -safemode leave命令强制离开...
Hadoop使用常见问题以及解决方法
08-21
解决方法是删除 NameNode 和 DataNode 的文件系统路径，然后重新格式化分布式文件系统。 java.io.IOException: Could not obtain block java.io.IOException: Could not obtain block 是 Hadoop 中的常见问题，...
hadoop 源码解析-DataNode
06-06
DataNode 的实例化过程由 `createDataNode` 方法实现，该方法将命令行参数、配置信息和安全资源传递给 `instantiateDataNode` 方法，以创建 DataNode 实例。在 `instantiateDataNode` 方法中，会根据配置信息和安全...
Ambari修改DataNode存储目录
01-20
HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时，需要修改DataNode的存储目录，以保障HDFS的正常工作，假定我们现在对应的HDFS数据盘位置为：/hadoop/hdfs/data; 预将数据目录迁移至/data/hadoop/hdfs/...
hadoop client与datanode的通信协议分析
09-05
dataStreamer线程会检查dataQueue，一旦发现Package，就会创建BlockOutputStream对象，并与指定的DataNode建立连接，发送DATA_TRANSFER_HEADER信息以获取响应。同时，它还会启动一个ResponseProcessor线程，用于接收...
HDFS体系结构(NameNode、DataNode详解)
03-30
"HDFS体系结构详解" HDFS（Hadoop Distributed File System）是一种分布式文件系统，旨在存储和管理大规模数据。...HDFS体系结构是Hadoop的核心组件，提供了高效、可靠、可扩展的分布式文件系统解决方案。
hadoop 没有datanode解决方法
热门推荐
ChunKitAu的博客
10-09 1万+
Hadoop 启动后使用JPS查看没有DataNode 在伪分布式运行hadoop，发现DataNode没有启动： 一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。 解决: 打开log: 在log中找到: 找到data目录: 在这个目录下，有一个VERSION文件。将VE...
hadoop启动后没有datanode的可能问题解决
weixin_56023591的博客
07-28 573
2.在hadoopdata文件（配置文件时设置的路径）里的data和name文件里的VERSION的clusterID要一致。1.更改~/.bash_profile或者profile文件后没进行source导致路径没有改变。
Hadoop集群启动后命令JPS没有DataNode或者NameNode
qq_53953480的博客
03-22 7717
a:进入/opt/module/hadoop-3.1.3/data/dfs目录里面删除掉所有文件。c:进入/opt/module/hadoop-3.1.3/logs目录里面删除掉所有文件。1）需要检查core-site.xml 和 hdfs-site.xml这俩文件，配置没错的话再看第二条。2）可能已经执行格式化NameNode后，但是格式之前并没有停止之前的进程并删除相关数据。1）删除dfs文件夹里的文件和删除nm-local-dir目录。2）删除后需要重新执行格式化NameNode操作。
Hadoop Dfs没有找到data文件夹
05-03
当您使用Hadoop Dfs时，您需要确保您的data文件夹已经存在于HDFS中。如果您在HDFS中没有创建data文件夹，那么您需要使用以下命令创建一个： ``` hadoop fs -mkdir /data ``` 如果您已经创建了data文件夹，但是在使用Hadoop Dfs时仍然无法找到它，那么您需要检查您的Hadoop配置文件中的路径是否正确。在hdfs-site.xml文件中，您可以查看以下属性： ``` <property> <name>dfs.namenode.name.dir</name> <value>/path/to/name/dir</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/data/dir</value> </property> ``` 确保value属性中的路径指向您的data文件夹。如果您的路径不正确，那么您需要将其更改为正确的路径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值