解决Hadoop集群丢失Namenode或Datanode问题

最新推荐文章于 2024-06-30 16:43:18 发布
最新推荐文章于 2024-06-30 16:43:18 发布
阅读量3.9k 收藏 17
点赞数 5
分类专栏： 学习笔记 文章标签： 大数据 分布式 hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liu_xia_zhou/article/details/125595466
版权
在操作Hadoop集群时遇到50070端口无法访问的问题，通过格式化Namenode并重启HDFS，解决了端口问题，但随后Datanode消失。经过检查发现可能是多次格式化Namenode导致clusterID不一致。通过对比和修改datanode及namenode目录下的current/VERSION文件中的clusterID，确保一致性，然后重启集群。在尝试手动唤醒Datanode后，最终成功恢复了Datanode，问题得到解决。
摘要由CSDN通过智能技术生成

首先，最开始的问题是我无法在网页查看50070端口，所以我格式化了一下namenode，./hdfs namenode -format

并尝试重启hdfs。

 

发现此时已解决，无50070端口问题，也可在网页查看集群信息，但是竟然datanode消失了

 

在sbin目录下，我又重新关闭+启动了一波集群    ./start-all.sh

发现此时可以解决仍然无效

<

最低0.47元/天 解锁文章
晴崽
关注
  • 5
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop启动后没有namenode_Hadoop常见问题整理
weixin_39779975的博客
11-24 2147
1/运行mr程序出错connecting to resoucemanager retrying .... retrying .....原因是没有启动yarn或者启动失败，正常启动yarn后，又报下面的错误：System times on machines may be out of sync,check system time and time zones原因是各个节点的时间没有统一，使用NTP...
Hadoop守护者：NameNode与DataNode故障恢复全攻略
最新发布
07-11
2. **MapReduce** - 一个编程模型和软件框架，用于在Hadoop集群上进行并行处理和分析大规模数据集。 Hadoop的特点： - **可扩展性**：可以处理PB级别的数据。 - **可靠性**：通过数据复制（默认为3份）来保证数据的...
hadoop启动缺少NameNode， 缺少ResourceManager, 缺少NodeManager...
热门推荐
世幻水的博客
10-02 1万+
描述：在hadoop 运行start-all.sh，发现缺少了NameNode， 缺少ResourceManager, 缺少NodeManager…等等的服务。这类问题有统一的解决方案。即查阅hadoop日志。 目录 1.hadoop日志 2.1 没有NameNode(选读) 2.2 没有ResourceManager和NodeManager(选读) 2.3 没有ResourceManage(选读) 3. 总结 1.hadoop日志 hadoop日志位于 hadoop 安装目录下的logs里，包含
Hadoop的namenode启动不起来
Connie1451的博客
06-30 355
1、查看/data/namenode/current/VERSION中的clusterID和/data/namenode/current/VERSION中的clusterID是否一致,2、 重启服务，stop-dfs.sh ,start-dfs.sh。3、jsp查看服务状态，查看服务状态，启动成功就解决啦。如果不一致，改为一致。
hadoop启动集群之后没有namenode的一种情况
m0_59787487的博客
05-24 6972
先说结论吧，一般在网上搜索这个问题都是让重新格式化namenode(当然，格式化之前要记得清空namenode和DataNode文件夹)。但是对于我之前遇到的问题却没法解决。我的做法是：检查你的hadoop的配置文件是否填写正确，我的hadoop的hdfs-site.xml中的主机IP地址未填写正确，导致启动集群服务后namenode启动不上，hdfs当然也没法用。 我的虚拟机会产生这个问题主要是虚拟机的IP地址发生了改变，在这里我简单记录一下发生这种问题怎么处理，也方便我日后参阅。 1.首先.
hadoop没有NameNode||DataNode
weixin_46119343的博客
12-24 4519
1.没有NameNode 解决方法： 删除hadoop目录下的“data” 和 “logs” 删除后，重新格式化，重新格式化成功后再启动集群，NameNode就有了。 2.没有DataNode 解决方法： 删除hadoop目录下的“data” 和 “logs” 删除后，重新启动集群，DataNode就有了。 ...
hadoop启动后没有namenode
linjixia的博客
03-25 1万+
参考教程： 教程1 （我按照教程1成功了。） 教程2 教程3 前提： 使用命令： cd $HADOOP_HOME ./sbin/start-dfs.sh jps 后发现没有namenode： 解决： 关闭进程： stop-dfs.sh 格式化： hadoop namenode -format 再次打开： start-dfs.sh 再次验证： jps ...
完美解决Hadoop集群无法正常关闭的问题!
01-07
相信对于大部分的大数据初学者来说，一定遇见过hadoop集群无法正常关闭的情况。有时候当我们更改了hadoop内组件的配置文件后，必须要通过重启集群来使配置文件生效。  但往往一stop-all.sh,集群下方总会出现下面的...
hadoop2.0 2个namenode 2个datanode 部署
01-16
在这个部署中，我们将使用 Hadoop 2.0 在两个 Ubuntu 服务器上部署双 Namenode 双 Datanode 集群。 Namenode 的作用 Namenode 是 Hadoop 集群中的主节点，负责管理文件系统的命名空间和数据块的分布。它维护着...
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
利用ansible 自动 安装Hadoop 集群
05-10
在该目录下，创建`hosts`文件，列出所有Hadoop集群节点的IP地址或主机名，按照角色进行分组，例如，`namenode`、`datanode`等。 3. **编写Playbook**：创建`site.yml`或`hadoop-cluster.yml`文件，这是Ansible的...
Hadoop集群启动但是没有datanode/namenode的情况
学习笔记
11-26 7962
Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。但是后来启动集群，一开始是主节点没启动起来，因为配置文件看走眼，配错了，然后又重新初始化了一次，然后可能因为重复初始化，导致datanode又没了，然后一直在尝试，一直在搜CSDN到底什么原因。目前根据搜索到的以及老师说的总结起来有三点：1.配置文件出错了2.ssh免密没做好3.重复初始化这三个问题应该在之前不断循环往复的出现…直到这周终于把集群启动起来并且能够正常工作了。
hadoop启动后没有namenode_Hadoop高可用集群
weixin_39575565的博客
11-30 1628
1.简介若HDFS集群中只配置了一个NameNode，那么当该NameNode所在的节点宕机，则整个HDFS就不能进行文件的上传和下载。若YARN集群中只配置了一个ResourceManager，那么当该ResourceManager所在的节点宕机，则整个YARN就不能进行任务的计算。*Hadoop依赖Zookeeper进行各个模块的HA配置，其中状态为Active的节点对外提供服务，而状态为St...
Hadoop集群启动后，缺少namenode或datanode进程
y215204的博客
10-01 8214
简述：NameNode 是 HDFS 的主节点，是负责管理整个 HDFS 集群的，相当于一个团队的老大,若没有启动，则不会进入web界面等。
解决hadoop启动后没有namenode节点问题（三）
web18484626332的博客
08-30 6863
前景回顾：上一篇文章中我们安装配置完hadoop后启动发现没有namenode节点，而且无法访问对应网站，该篇中将解决上篇的问题。删除文件夹 （hadoop2.7.3/下）的tmp/文件夹里边所有的东西。重新格式化：bin/hadoop namenode -format。先关闭hadoop：sbin/./stop-all.sh。访问：http://localhost:50070。至此hadoop安装完毕。...
Hadoop集群下找不到datanode的解决方法
yrxfight的博客
09-04 4993
出现了 no datanode to stop，是因为我进行了二次格式化导致的。 解决方法如下： 第一步：进入core-site.xml文件中查看数据的存储路径 第二步：删除文件下的所有东西 [root@bigdata111 tmp]# rm -rf * 第三步：进行格式化 [root@bigdata111 tmp]# hdfs namenode -format 第四步：jps产看结果 ...
hadoop启动jps缺少namenode
weixin_59598992的博客
12-28 5155
环境搭建的过程中，修改 core-site.xml 文件的时候我在configuration与/configuration之间写入<value>hdfs://192.168.0.53（公网地址）:9820</value>，导致后面启动jps的时候一直没有namenode。 在将公网地址修改成私网ip后，就能成功启动了。 在此提供一个修改方法，原因我按其他文章的方法前前后后花了我数个小时无法解决，其也在于我并不理解相关知识。 ...
Hadoop启动后没有namenode进程的解决办法
sis12e的博客
04-09 7757
【代码】Hadoop启动后没有namenode进程的解决办法。
虚拟机中Hadoop集群NameNode和DataNode进程缺失问题解析与解决
weixin_74865657的博客
09-25 3201
在虚拟机中运行Hadoop集群时，通过执行jps命令检查进程时，发现NameNode和DataNode进程缺失。这通常会导致Hadoop集群无法正常运行，影响数据的存储和访问。在操作Hadoop集群时，务必遵循正确的启动和停止流程，避免异常退出导致的问题。定期检查Hadoop集群的配置文件，确保各项配置正确无误。在进行NameNode格式化之前，务必备份重要数据，以防数据丢失。如果在解决问题过程中遇到其他错误或异常，请查看Hadoop的日志文件以获取更多详细信息，并根据日志提示进行相应的调整。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值