Hadoop的NameNode未正常运行解决方案

最新推荐文章于 2022-10-24 20:52:11 发布
最新推荐文章于 2022-10-24 20:52:11 发布
阅读量325 收藏
点赞数
文章标签： python hadoop tensorflow java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ChrisLu777/article/details/111416536
版权

首先，发现自己的50070端口无法访问，并且JPS命令没看到namenode正常运行

所以利用搜索引擎搜索，找到这篇博客

https://www.cnblogs.com/lishpei/p/6136043.html

然后引导着我去看Hadoop的运行日志

image-20201219221655576

然后找到这篇博客

https://my.oschina.net/jerval/blog/3032847

原因：

hadoop默认将namenode格式化在/tmp下，而这个目录当在重启时会被清空，所以报错。

按照博客方法 顺利解决

JaneRoad
关注
深入解析：Hadoop NameNode的高可用性(HA)原理
击水三千里的专栏
07-19 1075
Hadoop2.2.0 release版本开始支持NameNode的HA，本文将详细描述NameNode HA内部的设计与实现。
namenode未启动
weixin_30699235的博客
06-16 218
1、问题：start-all.sh结果jps发现namenode没有启动，其它进程都启动 2、查看日志，没有namenode生产的日志 3、奇了，检查其它进程的日志，都在重新连接namenode Zzzzzzz..... 4、记得虚拟机是直接关机的，未执行stop-all.sh 5、删除tmp目录（metdata所在的目录） 6、重新格式化 hadoop namenode -format...
Hadoop中Namenode没有启动
eating的博客
03-15 1439
项目场景：Hadoop中Namenode没有启动 提示：虚拟机问题 文章目录项目场景：Hadoop中Namenode没有启动前言Hadoop中Namenode没有启动原因分析：解决方案： 前言 配置虚拟机的时候总会有大大小小的错，帮大家避雷吧！ Hadoop中Namenode没有启动 原因分析： 原因：有可能是多次格式化namenode。 造成了namenode和datanode的clusterID不一致。 解决方案： 修改version文件，把ID改成一致的即可； 简单粗暴的方法：cd /
Hadoop namenode 没有运行 解决方案
dengwei4321的专栏
08-17 1189
hadoop@ubuntu:~$ hadoop/bin/start-all.sh 看不出什么问题，但是 hadoop@ubuntu:~$ jps 12181 Jps 11984 JobTracker 12132 TaskTracker 11557 SecondaryNameNode hadoop@ubuntu:~$ hadoop/bin/stop-all.sh stoppi
NameNode出现故障的处理方法
mo
05-10 1228
在集群的运行过程中，可能会出现NameNode宕机的情况，在这里我贴出来一个有效的办法来解决NameNode的方法。 在主节点上面jps查看NameNode进程，然后 kill -9 NameNode进程号 2.删除主节点上NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name,这一步根据自己的目录来进行修改） 找到SecondaryNameNode部署的那台机器（这里我的是部署在了hadoop104上面，所以就在这个机器上面进行操作），拷贝
hadoop启动缺少NameNode， 缺少ResourceManager, 缺少NodeManager...
世幻水的博客
10-02 1万+
描述：在hadoop 运行start-all.sh，发现缺少了NameNode， 缺少ResourceManager, 缺少NodeManager…等等的服务。这类问题有统一的解决方案。即查阅hadoop日志。 目录 1.hadoop日志 2.1 没有NameNode(选读) 2.2 没有ResourceManager和NodeManager(选读) 2.3 没有ResourceManage(选读) 3. 总结 1.hadoop日志 hadoop日志位于 hadoop 安装目录下的logs里，包含
Hadoop Namenode性能诊断及优化
01-22
2. **硬件层面优化**：探索更适合NameNode运行的硬件配置，比如更高性能的处理器、更大容量的内存等。 3. **软件栈优化**：针对NameNode使用的软件栈进行深入优化，比如定制化JVM、编译器优化等。 4. **新技术应用**...
Hadoop NameNode性能故障排查，超万亿数据库排查分享
weixin_52672149的博客
02-23 2105
随着国内互联网行业的发展，万亿规模的超大集群虽然已不像几年前那么凤毛麟角，但是也并不多见，尤其是涉及超万亿规模的超大集群性能故障排查的机会就更加稀少。 而这次我所进行的超万亿规模的Hadoop NameNode性能故障排查也是在我创业几年以来所遇到的集群规模最大，耗时最长，排查工作量最大，头发掉的最多，最终都不得不求助于大牛的一次经历。 因此在问题解决之后，我也第一时间将这次的整个排查过程记录下来进行总结，希望能给看到的各位同学有所帮助。
基于Hadoop生态系统的大数据解决方案综述.docx
最新发布
05-16
### 基于Hadoop生态系统的大数据解决方案综述 #### 一、绪论 随着互联网技术的迅猛发展，数据量呈爆炸式增长，这不仅带来了前所未有的机遇，也对数据处理能力提出了更高要求。大数据技术应运而生，旨在解决大规模...
hadoop namenode格式化错误以及启动不了解决方案
weixin_45942827的博客
10-24 7137
hadoop namenode格式化错误以及启动不了解决方案
大数据工程师面试题(四)
NLP学习者，通用人工智能实践者
02-19 8082
2.23. 我们开发job时，是否可以去掉reduce阶段。 可以。设置reduce数为0 即可。 2.24. datanode在什么情况下不会备份 datanode在强制关闭或者非正常断电不会备份。 2.25. combiner出现在那个过程 出现在map阶段的map方法后等。 2.26. hdfs的体系结构 hdfs有namenode、secondraynamenode、data
Hadoop之HDFS及NameNode单点故障解决方案
weixin_33757911的博客
07-24 2990
Hadoop之HDFS 版权声明：本文为yunshuxueyuan原创文章。如需转载请标明出处：http://www.cnblogs.com/sxt-zkys/QQ技术交流群：299142667 HDFS介绍 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。 什么是分布式文件系统 分布...
hadoop启动后没有namenode_Hadoop常见问题整理
weixin_39779975的博客
11-24 2197
1/运行mr程序出错connecting to resoucemanager retrying .... retrying .....原因是没有启动yarn或者启动失败，正常启动yarn后，又报下面的错误：System times on machines may be out of sync,check system time and time zones原因是各个节点的时间没有统一，使用NTP...
通过命令来查看NameNode的状态（是Active还是Standby）
热门推荐
快乐的风男
08-12 2万+
hadoop2.2.0（HA）中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。  这些NameNode之间通过共享数据，保证数据的状态一致。多个NameNode之间共享数据，可以通过Nnetwork File Syst...
java大数据最全课程学习笔记(4)--HDFS NN,2NN,DN及HDFS2.x新特性
假装文艺范儿
07-17 366
目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages HDFS NN,2NN,DN及HDFS2.x新特性 NameNode和SecondaryNameNode（重点） NN和2NN工作机制 第一阶段：NameNode启动 第一次启动NameNode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 客户端对元数据进行增删改的请求。 NameNode记录操作日志，更新滚动日志。 NameNode在内存中对数据进行增删改。 .
处理不良 : Master 汇总： slave21（可用性：未知，运行状况：不良）. 该运行状况测试不良，因为 Service Monitor 未找到活动 Master。
萌兔兔MMQ！！
04-14 2313
错误：HBase服务出现 该运行状况测试不良，因为 Service Monitor 未找到活动 Master 如果重启服务之后无法排除该问题，请执行如下操作（CM换成自己的版本号）： rm -f /opt/cloudera-manager/cm-5.10.1/lib/cloudera-scm-agent/cm_guid 每台机器都执行一遍，然后重启客户端代理,执行如下代码: /opt/cm-5.10.1/etc/init.d/cloudera-scm-agent start ...
如何判断Hadoop Namenode状态
大熊的大数据
11-29 5228
主要借助Hadoop JMX 提供的API信息获取信息来判断Namenode的状态，一般使用类似语句 http://namenode.abc.com:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeStatus 其返回信息如下： { "beans" : [ { "name" : "Hadoop:service=NameNode,na...
教你一步一步分析Hadoop NameNode启动流程
shalistone的博客
05-06 618
NameNode服务端的启动过程 不知道大家是否自己搭建过Hadoop集群，如果搭建过是否还记得Hadoop NameNode的启动命令呢？下面是Linux服务器上启动NameNode的命令。 [root@hadoop01 sbin]# hadoop-daemon.sh start namenode 既然是通过hadoop-daemon.s进行启动，那么我们可以看看这个shell脚本是怎么启...
Hadoop常见错误解析与解决方案
"Hadoop常见问题及解决方法包括NameNode无法启动、端口占用以及安全模式等问题，这些问题在Hadoop的日常使用中较为普遍。...在遇到问题时，查阅官方文档、社区论坛和Stack Overflow等资源也是获取解决方案的有效途径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值