在主节点删除NameNode的Fsimage和Edits后在尝试jps主节点的NameNode还在解决方法

最新推荐文章于 2020-10-24 12:36:24 发布
最新推荐文章于 2020-10-24 12:36:24 发布
阅读量270 收藏
点赞数
文章标签： Edits Fsimage NamoNode SecondaryNameNode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45739020/article/details/102930969
版权

在删除HDFS的Fsimage文件系统的镜像后和删除HDFS的文件日志Edits发现集群处于safemode(安全模式下)模式，此时我们用 kill -9 加上进程ID 杀死这个进程，后再从SNN（SecondaryNameNode）Fsimage和Edits在cp到NN（NameNode），在重启集群就可以解决

枳言真菌
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
0527-6.1-如果你不小心删了一个NameNode2
Hadoop_SC的博客
12-16 374
1 文档编写目的 在启用了HDFS HA的集群，2个NameNode节点上一般都会部署三个角色：NameNode，JournalNode和Failover Controller。在实际生产中，我们有时会碰到一个情况，你不小心删掉了某个NameNode节点上的所有角色包括NameNode，JournalNode和Failover Controller，或者你不小心通过Cloudera Manager...
NameNode故障处理
qq_36055407的博客
08-18 292
NameNode故障后，可以采用如下两种方法恢复数据。 方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录； 1. kill-9 NameNode进程 2.删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name） rm -rf /opt/module/hadoop-2.7.2/data...
集群的namenode故障恢复
lxpqxl的博客
11-05 2025
secondaryNamenode对namenode当中的fsimage和edits进行合并时，每次都会先将namenode的fsimage与edits文件拷贝一份过来，所以fsimage与edits文件在secondarNamendoe当中也会保存有一份，如果namenode的fsimage与edits文件损坏，那么我们可以将secondaryNamenode当中的fsimage与e...
hadoop主节点（NameNode）备份策略以及恢复方法
加俊
11-11 446
一、dits和fsimage     首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。 集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。 当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到f...
从删库到跑路，NameNode元数据丢失如何恢复Hadoop集群
857技术社区
10-24 2223
首先，回一下Hadoop的基础概念，从概念入手恢复集群。 HDFS metadata以树状结构存储整个HDFS上的文件和目录，以及相应的权限、配额和副本因子（replication factor）等。本文基于Hadoop2.6版本介绍HDFS Namenode本地目录的存储结构和Datanode数据块存储目录结构，也就是hdfs-site.xml中配置的dfs.namenode.name.dir和dfs.namenode.data.dir。 一、NameNode HDFS metadata主要存储两种
hadoop动态增加和删除节点方法介绍
09-30
4. **刷新NameNode**：在NameNode节点上，使用`dfsadmin`命令刷新节点列表，确保NameNode知道新节点的存在： ``` bin/hdfs dfsadmin -refreshNodes ``` 并运行`start-balancer.sh`来平衡集群的存储负载： ``` ...
Hadoop中namenode和secondarynamenode工作机制讲解
09-30
今天小编就为大家分享一篇关于Hadoop中namenode和secondarynamenode工作机制讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
Hadoop-v2-MasterNode：在基于CentOSLinux上配置Hadoop版本2主节点的角色
02-08
Hadoop主节点 该Ansible角色用于配置Hadoop v2 MasterNode！ 该角色将使用最稳定的Hadoop 2版本，即Hadoop-2.10.1 该角色用于仅在基于CentOSLinux上配置Hadoop。 要求 需要Hotspot Java版本8。 在此角色中，特别...
HDFS namenode主备安装
10-18
最新的hdfs namenode主备安装文档，详细，命令只需要copy执行即可
行业分类-设备装置-名字节点主备切换的方法、装置和分布式系统.zip
09-12
在IT行业中，尤其是在分布式系统的设计和管理中，名字节点（NameNode）是Hadoop文件系统（HDFS）的核心组件，负责存储和管理文件系统的元数据。这个压缩包文件"行业分类-设备装置-名字节点主备切换的方法、装置和...
hadoop踩坑之namenode进程无法启动且fsimage没有在预想目录下生成问题
赵俊杰
05-17 398
这几天搭建Hadoop总遇到一个问题：在core-site.xml定义 hadoop.tmp.dir 或者直接在hdfs-site.xml定义namenode路径后 format操作时路径却在/dfs/nn下。而且启动hadoop namenode进程没有启动。 原因：之前安装过CDH，虽然服务没有起用，但是CDH中的的配置还是影响了我Hadoop的相关配置。删除CDH后 解决问题。 ...
hadoop之fsimage和edits工作机制和元数据namenode宕机恢复
浏阳河
09-29 6268
hadoop之fsimage和edits工作机制和元数据namenode宕机恢复
NameNode如何加载FSImage+EditsLog
一尘在心的博客
08-29 448
在NameNode的启动过程中有加载FSImage+EditsLog这一必不可少的一项。关于文件fsImage和文件edits是用来存放什么，我在这里就不用在重复了吧。在本文我将详细的叙述NameNode是如何加载fsimage和edits文件的。       在NameNode节点启动之前，我们一般会在配置文件hdfs-default.xml中分别配置文件fsImage、edits所在的路径，...
Hadoop使用常见问题以及解决方法（转载）
weixin_30650859的博客
11-03 296
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。/etc/security/limits.confvi /etc/se...
Hadoop基础教程-第9章 HA高可用（9.3 HDFS 高可用运行）（草稿）
与其临渊羡鱼 不如退而结网
07-03 469
第9章 HA高可用 9.3 HDFS 高可用运行 9.3.1 HA节点规划 节点 IP Zookeeper NameNode JournalNode DataNode node1 192.168.80.131 Y Y Y Y node2 192.168.80.132 Y Y Y Y node...
Hadoop HDFS namenode故障恢复
大数据流浪法师的学习笔记与分享
11-06 798
SecondaryNamenode对Namenode当中的Fsimage和Edits进行合并时，每次都会先将Namenode的Fsimage与Edits文件拷贝一份过来，所以fsimage与edits文件在secondarNamendoe当中也会保存有一份，如果namenode的fsimage与edits文件损坏，那么我们可以将secondaryNamenode当中的fsimage与edits拷贝...
误删除HDFS文件的终极恢复
有信仰的蜗牛
05-09 2775
概述 使用过HDFS的同学都知道，HDFS有垃圾回收站的功能，当你误删除文件的时候，HDFS会把文件存储到你所在用户的垃圾回收站中，想要恢复文件，只需要从垃圾回收站中找回，当然必须在垃圾回收站的指定日期中。这个是正常的操作。 下面我说一个不正常的操作，如果你的垃圾回收站的间隔日期设置的比较大，当你需要执行大量MR任务时候，就会存在很多垃圾日志存储到你的回收站中，这样就占用了系统大量的存储资。为了解决这个问题，于是想到了如果跳过回收站去删除文件不就可以了。接着执行了一下的指令： hdfs dfs -rm -R
hadoop的Namenode元数据持久化机制（fsImage、Edit）与secondaryNamenode的真正作用详解
zhangshk_的博客
12-24 4391
我们都知道namenode是用来存储元数据的，他并不是用来存储真正的数据。 那么他的元数据怎么进行持久化呢！FsImage文件系统的镜像文件叫fsImage，它包括了文件和块信息的映射，还有文件系统的属性信息。datanode启动的过程中 首先会向namenode注册块信息，这些块信息就是存储在namenode的FsImage中的。EditLog对于文件系统的每一次更改，例如，增加文件，删除文件等
启动主节点NameNode。
最新发布
06-07
启动主节点NameNode的步骤如下： 1. 进入Hadoop的安装目录下的sbin目录，执行以下命令启动NameNode： ``` ./start-dfs.sh ``` 2. 执行命令后，等待一段时间，直到输出日志中出现“Started namenode”字样，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值