HDFS Standby NameNode 启动问题

最新推荐文章于 2024-04-15 05:21:54 发布
最新推荐文章于 2024-04-15 05:21:54 发布
阅读量1.6k 收藏
点赞数 1
分类专栏： 大数据技术 文章标签： hdfs NameNode is not formatted namenode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sin_geek/article/details/89543857
版权

背景

运行中的环境，平台发现告警NameNode Directory Status报警，具体为Failed directory count: 1，不影响使用，然后第二天晚上又发生Last Checkpoint的报错，查看HDFS Standby NameNode节点日志发现Exception in doCheckpoint，然后直接重启该Namenode，就发现重启失败，错误提示为NameNode is not formatted.然后通过hdfs-site.xml找到dfs.namenode.name.dir目录，发现为空。

方案

  1. 确保Active NameNode是正常工作
  2. 不要从Active NameNode节点/hadoop/hdfs/namenode目录下拷贝任何数据到Standby NameNode.
  3. 在Standby NameNode节点上执行 hdfs namenode -bootstrapStandby. 该命令会回复Standby NameNode节点的元数据
  4. 通过Ambari启动Standby NameNode
  5. 通过Ambari重启ZKFailoverController
Sin_Geek
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS读书笔记-了解NameNode（二）
Leo Zhang
12-17 3480
朋友写的【HDFS系列】，觉得挺好。原文地址，点我      上篇文章中我们着重介绍了HDFS的基本架构和读写流程，本章主要来认识HDFS的NameNode，      简单来讲，NameNode就是HDFS的大脑，任何客户端或者DataNode的数据迁移、目录操作都是由NameNode来完成的。      再了解了NameNode会干什么事情之后，最好深入的办法就是来看
【排障】搭建HDFS高可用集群中NameNode无法启动
克里斯的博客
01-04 2150
本文解决搭建Hdfs高可用时出现的NameNode无法启动的问题。 Multiple shared edits directories are not yet supported ERROR: Cannot set priority of namenode process 4655
Hadoop启动后没有namenode进程的解决办法_hadoop启动没有namenode
最新发布
2401_84164672的博客
04-15 760
【代码】Hadoop启动后没有namenode进程的解决办法_hadoop启动没有namenode。
【大数据Hadoop】HDFS-Namenode-bootstrapStandby同步元数据的源码步骤分析
如切如磋，如琢如磨，臻于至善。
03-24 1104
为了使Standby节点的状态与Active节点保持同步，两个节点都与一组称为“ JournalNodes”(JNs)的独立守护进程进行通信。当主动节点执行任何名称空间修改时，它会持久地将修改记录记录到大多数JNs上。Standby 节点能够从 JNs 中读取edits，并不断观察它们对edits的更改。当 Standby Node 看到edits时，它将它们应用到自己的名称空间。
HDFS之NameNode
weixin_30895603的博客
07-09 862
NameNode&Secondary NameNode工作机制 1）第一阶段：namenode启动 （1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求 （3）namenode记录操作日志，更新滚动日志。 （4）namenode在内存中对数据进行增删改查 2...
HDFS 初始namenode
song_quan_的博客
10-13 1345
HDFS体系结构 前面我们掌握了HDFS的基本使用，下面我们来详细分析一下HDFS深层次的内容 HDFS 支 持 主 从 结 构 ， 主 节 点 称 为 NameNode ， 是 因 为 主 节 点 上 运 行 的 有 NameNode 进 程 ， NameNode支持多个，目前我们的集群中只配置了一个 从节点称为 DataNode ，是因为从节点上面运行的有DataNode进程，DataNode支持多个，目前我们的 集群中有两个 HDFS中还包含一个 SecondaryNameNo
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
这通常包括检查NameNode的状态（是否能正确切换Active和Standby状态），测试文件系统的读写操作，以及通过HDFS命令验证数据一致性。例如，可以使用`hdfs haadmin -failover`命令强制切换NameNode状态，观察系统是否...
HDFS分布式文件系统
01-27
JournalNode保存NameNode的编辑日志，Standby NameNode通过同步这些日志来保持元数据的一致性。ZKFC监控NameNode的状态，并在必要时进行仲裁，确保系统的稳定运行。 总的来说，HDFS是大数据处理领域的重要工具，它...
【HDFS篇11】HA高可用1
08-04
为了解决这一问题，HDFS引入了HA（High Availability）功能，通过配置Active/Standby两个NameNodes来实现NameNode的热备份。 在HDFS HA模式下，有两个NameNode，一个是Active状态，处理所有的客户端请求；另一个是...
Hadoop HA集群启动.docx
08-23
HDFS HA主要通过Active/Passive模式实现，即在一个时刻，只有一个NameNode处于Active状态，负责处理所有的客户端请求，另一个NameNode则处于Standby状态，实时同步Active NameNode的状态，一旦Active NameNode出现...
大数据面试突击系列HDFS原理篇
02-22
在HDFS 2.x版本中，引入了HA解决方案，以解决HDFS 1.x中的单点故障问题。以下将详细解析HDFS的HA架构、读写流程和高可用保证机制。 1. **HA架构组成** - **Active NameNode**：作为主节点，负责执行所有命名空间的...
Hadoop系列（一）——身体是革命的本钱 HDFS体系结构（NameNode、DataNode）详解
BigData_Hubert的博客
08-21 7773
hadoop文件读取实例中yarn的作用是什么样的？ 要想理解hadoop文件读取的过程，除了理解YARN还需要提前了解一下hadoop 中NameNode和DataNode的原理和功能。 NameNode NameNode在内存中保存着整个文件系统(hdfs)的名字空间(namespace）和文件数据块的地址映射(Blockmap)。整个HDFS可存储的文件数受限于NameNode的内存大小。 它的功能如下： NameNode负责文件元数据信息的操作以及处理客户端的请求 NameNode管理HDFS文件
HDFS NameNode故障处理
weixin_43497444的博客
02-26 3906
NameNode故障后，可以采用如下两种方法恢复数据。 方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录 kill -9 NameNode进程 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name） [hadoop@hadoop102 hadoop-2.7.2]$ rm -rf /opt/mo...
【Hadoop】HDFS Namenode元数据管理以及故障恢复
m0_37956758的博客
09-22 1575
Namenode 的元数据管理
HDFS中namenode部分概述（一）
xhh198781的专栏
10-25 5419
关于hdfs源码的阅读，我这个小菜鸟觉得有这么两种方式去读，一是抓住它关键的数据结构，知道了他们是干什么用的，剩下的就是一些围着他们转的操作了；二是跟踪执行过程的流程式阅读，以mkdir为例，从client应用发出mkdir请求到传递给namenode，再在datanode上执行，这么一个过程详细地跟踪下来，就理解了一大片。两种路子没有孰优孰劣，配合使用或许更有效。本篇先从数据结构的角度分享一点自
NameNode故障处理
热门推荐
诗水人间
10-25 14万+
NameNode故障后，可以采用如下两种方法恢复数据。 方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录； 1. kill-9 NameNode进程 2.删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name） [angel@hadoop112 hadoop-2.7.2]$ rm -r...
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks程序(Python)配置问题总结
Jiajun的博客
12-21 2万+
目录目录 预先浏览 QA预先浏览 原文：faster-r-cnn 源码：py-faster-rcnn接下来列举源码配置过程中我遇到的问题，希望对大家有帮助。若有错误，还望指出。 Q&A Q1: error: utils/bbox.c: No such file or directory x86_64-linux-gnu-gcc: error: utils/bbox.c: No such file o
遇到问题--hive--presto--directory does not match the declared bucket count
直到世界的尽头
03-03 2327
遇到的情况 directory (1) does not match the declared bucket count presto:default> select * from table_p where id='123' limit 1; Query 20180302_022639_00002_xpfqj, FAILED, 1 node Splits: 17 total,...
HDFS中NameNode 单点失败的改进案例介绍
09-11 1054
在Hadoop的使用中，NameNode的单点失败问题一直困扰着框架的使用者。这一节我们提出了一种利用ZooKeeper对NameNode进行冗余备份协同工作方案，避免了NameNode单点失败造成的服务不可用与文件丢失问题。NameNode是整个HDFS的核心，HDFS所有的操作均需由NameNode参与，并且NameNode负责维护整个分布式文件系统中所有文件的元信息以及目录信息。如果Name
hdfs namenode高可用工作机制
06-03
HDFS（Hadoop Distributed File System）的Namenode高可用性是通过Hadoop的HA...通过这种机制，HDFS的Namenode高可用性得到了保障，即使主Namenode出现问题，备份Namenode也可以快速接替工作，保证系统的高可用性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值