namenode宕机导致数据丢失，hdfs启动namenode失败，secondarynamenode冷备份

最新推荐文章于 2022-09-06 08:42:40 发布
最新推荐文章于 2022-09-06 08:42:40 发布
阅读量729 收藏 2
点赞数 1
分类专栏： 异常解决 VM虚拟小白 文章标签： hadoop mysql linux hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48143996/article/details/109053512
版权

namenode宕机导致数据丢失，hdfs启动namenode失败，secondarynamenode冷备份

查看namenode（镜像和日志丢失）

日志丢失
在这里插入图片描述

镜像丢失

在这里插入图片描述

启动hadoop（发现namenode没有启动）
在这里插入图片描述
查看namenode启动日志
镜像和日志数据丢失

在这里插入图片描述
在这里插入图片描述
从secondarynamenode中找备份数据，恢复数据

secondarynamenode存放备份日志的路径

/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

将数据进行拷贝在这里插入图片描述
secondarynamenode存放备份镜像的路径

/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name/current

将数据进行拷贝

在这里插入图片描述

重新启动，成功！！！！！！

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

一只楠喃
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop之fsimage和edits工作机制和元数据namenode宕机恢复
浏阳河
09-29 6282
hadoop之fsimage和edits工作机制和元数据namenode宕机恢复
HDFS NameNode进程挂了并且数据也丢失了，如何进行恢复？
学亮编程手记
09-15 501
Hadoop运维笔记 之 Namenode异常停止后无法正常启动
weixin_34221073的博客
09-29 309
2019独角兽企业重金招聘Python工程师标准>>> ...
Namenode元数据损坏恢复
学习交流笔记
03-25 2391
namenode无数据损坏一般是磁盘损坏，或者是其它操作导致namenode数据丢失。如果发生文件损坏或者丢失，有如下两种方法可以恢复。前提是有secondarynamenode 1、Namenode所在机器服务正常 如果namenode所在机器服务正常，只是磁盘损坏，或者数据丢失。则可以此方法。 在namenode机器上(现网为132.37.8.136)操作以下步骤： 1、如果hadoo
进行跨集群的数据迁移出现namenode切换，导致数据异常
teak_on_my_way的博客
08-19 327
因为有时候需要定时进行跨集群的数据迁移，所以需要进行跨集群传数据。这里采用distcp 指令进行传数据。但是这个指令只能指定已经活跃的NAMENODE。当出现主节点切换后会出现错误。所以采用先进行判断，后续进行传数据的操作。
11_尚硅谷大数据之HDFS_NameNode和SecondaryNameNode1
08-03
NameNode是HDFS的核心节点，负责管理文件系统的元数据，包括文件和目录的命名空间以及文件的块映射信息。SecondaryNameNode则辅助NameNode，帮助维护元数据的一致性。下面我们将详细探讨NameNode和SecondaryNameNode...
HDFS之NameNode分析
01-30
大家都知道HDFS的架构由NameNode,SecondaryNameNode和DataNodes组成，其源码类图如下图所示：正如上图所示，NameNode和DataNode继承了很多的protocol用于彼此间的通信，其实nameNode还实现了...实现了ClientProtocol...
Hadoop中namenode和secondarynamenode工作机制讲解
09-30
在HDFS中，namenode和secondarynamenode起着至关重要的作用，它们确保了HDFS元数据的完整性和可靠性。 namenode是HDFS的主服务器，负责管理文件系统命名空间，维护文件系统树及整个HDFS的目录结构。所有关于文件...
快速学习-NameNode和SecondaryNameNode
01-07
第5章 NameNode和SecondaryNameNode...这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，
namenode启动失败参考
05-16
- 在没有备份的情况下，可能需要从DataNodes重新构建命名空间，但这将是一个复杂的过程，可能导致数据丢失。 **2. edits文件问题** edits文件记录了自上次保存fsimage以来的所有更改，是Namenode更新元数据的主要...
hadoop的Namenode元数据持久化机制（fsImage、Edit）与secondaryNamenode的真正作用详解
zhangshk_的博客
12-24 4407
我们都知道namenode是用来存储元数据的，他并不是用来存储真正的数据。 那么他的元数据怎么进行持久化呢！FsImage文件系统的镜像文件叫fsImage，它包括了文件和块信息的映射，还有文件系统的属性信息。datanode启动的过程中 首先会向namenode注册块信息，这些块信息就是存储在namenode的FsImage中的。EditLog对于文件系统的每一次更改，例如，增加文件，删除文件等
Hadoop重启失败问题集合
jessicon的博客
12-14 408
Hadoop重启失败问题集合NameNode重启失败问题集合（1）NameNode GC overhead limit exceeded（1） 解决方案：解决方案选择： NameNode重启失败问题集合 Hadoop nameNode 启动需要加载Fsimge文件和Edit-log文件。 （1）NameNode GC overhead limit exceeded ![报错信息引用](https://img-blog.csdnimg.cn/20201214115324590.png?x-oss-proces
namenode 迁移，利用HA做到零数据丢失
hxiaowang的博客
05-08 4516
背景 前一段时间公司的几台机器要“回收”，其中有一台namenode主机。所以要进行namenode迁移，开始定了两套方案： 停集群，拷贝namenode所在机器上的【hadoop文件夹、hdfs数据文件夹、元数据文件夹】 利用HA,启动三台namenode等待他们的竟像文件一致后，停止掉回收的那个namenode。 比较： 停止集群拷贝的方法可能在停止集群时丢临近的元数据很少量的量，没...
hadoop ----nameNode故障宕机，如何挽救
Genebrother
06-12 3180
nameNode故障宕机，如何挽救一些数据？？恢复后的数据与之前的数据有哪些差别？？？ 答：将secondyNameNode节点中的数据拷贝至namanode节点上，这样就可以恢复在上一个edits和fsimage的内容了， 实例操作：一般情况下，namenode 和secondynamenode是不会同时运行在同一台物理机的，都是分开在2台服务器上，这样就可以避免2中故障的发生 1、当一台机器的磁盘是物理损坏的时候，可以使用secondynamenode这台机器上的保存数据，恢复部分数据..
hadoop 的 namenode 宕机如何解决
最新发布
m0_67392661的博客
09-06 834
先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了， 重启即可，如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原因修复了。但是最终的解决方案应该是在设计集群的初期就考虑到这个问题，做namenode的HA。
Hadoop HA namenode宕机环境恢复
邢为栋
05-05 2250
描述 Ambari管理的Hadoop生产集群开启了HA，在运行期间，namenode1(nn1)为活跃(active)namenode，namenode2(nn2)为备用(standby)namenode。 nn1主机在运行期间宕机，nn2切换为active namenode，重启nn1主机，系统启动失败。 硬件检测正常，排除硬件问题。 最优的解决方案是修复操作系统，尝试多种方法，结果失败。 这时...
hadoop的NameNode故障处理
LastYHM的博客
09-23 532
NameNode故障后，可以采用如下两种方法恢复数据。+ 1）将SecondaryNameNode中数据拷贝到NameNode存储数据的目录； （1）kill -9 NameNode进程 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.3/data/tmp/dfs/name） [user1@hadoop102 hadoop-3.1.3]$ rm -rf /opt/module/hadoop-3.1.3/data/dfs/name/* （3）拷贝SecondaryName
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值