NameNode和SecondaryNameNode

最新推荐文章于 2023-03-23 08:57:28 发布
最新推荐文章于 2023-03-23 08:57:28 发布
阅读量107 收藏
点赞数
分类专栏： Hadoop 文章标签： 大数据 分布式 hadoop hdfs 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44216665/article/details/126304836
版权
本文详细介绍了NameNode和Secondary NameNode在HDFS中的工作机制，包括NameNode的启动过程和Secondary NameNode如何执行CheckPoint。同时，文章还探讨了Fsimage和Edits文件的作用，提供了查看这两个文件内容的命令及其使用示例。
摘要由CSDN通过智能技术生成

1. NN和2NN工作机制

 

1）第一阶段：NameNode启动

（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

（2）客户端对元数据进行增删改的请求。

（3）NameNode记录操作日志，更新滚动日志。

（4）NameNode在内存中对元数据进行增删改。

2）第二阶段：Secondary NameNode工作

（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。

（2）Secondary NameNode请求执行CheckPoint。

（3&#

最低0.47元/天 解锁文章
守猪_待兔
关注
专栏目录
NameNode和SecondaryNameNode的工作机制
趣学程序
05-20 1152
NameNode&Secondary NameNode 工作机制 NameNode: 1.启动时，加载编辑日志和镜像文件到内存 2.当客户端对元数据进行增删改，请求NameNode 3.NameNode记录操作日志，更新滚动日志 4.日志记录完成，在NameNode内存中对元数据进行操作 edits.001 操作日志 edits.002 edits.inprogress ...
NameNode和SecondaryNameNode工作机制
lljazxx的博客
11-06 320
NameNode和SecondaryNameNode工作机制 第一阶段：NameNode启动 （1）第一次启动NameNode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）NameNode记录操作日志，更新滚动日志。 （4）NameNode在内存中对数据进行增删改查。 第二阶段：Seconda...
Hadoop中SecondaryNameNode工作机制
lavimer
01-04 4759
首先来看一下HDFS的结构，如下图： 如上图，在HDFS架构中，NameNode是职责是管理元数据信息，DataNode的职责是负责数据存储，那么SecondaryNameNode的作用是什么呢？ 其实SecondaryNameNode是hadoop1.x中HDFS HA的一个解决方案，下面我们来看一下SecondaryNameNode工作的流程，如下图： 1.Nam
Secondary Namenode工作机制详解
Machine Learning with Tutors
06-17 3092
我的机器学习教程「美团」算法工程师带你入门机器学习 以及「三分钟系列」数据结构与算法已经开始更新了，欢迎大家订阅~这篇专栏整合了这几年的算法知识，简单易懂，也将是我实体书的BLOG版。 欢迎大家扫码关注微信公众号「图灵的猫」，除了有更多AI、算法、Python相关文章分享，还有免费的SSR节点和外网学习资料。其他平台（微信/知乎/B站）也是同名「图灵的猫」，不要迷路哦~ ...
Secondary NameNode工作机制
weixin_46444176的博客
10-06 1190
Secondary NameNode并不是NameNode的热备份，所以，当NameNode挂掉之后，它并不能替代NameNode工作，对外提供服务。它的作用主要是：辅助NameNode，帮助NameNode对镜像文件和操作日志进行合并；在NameNode数据缺失的时候可以帮助NameNode恢复部分的数据（至于为什么不能恢复全部的数据，后面会有解释）
快速学习-NameNode和SecondaryNameNode
01-07
第5章 NameNode和SecondaryNameNode（面试开发重点） 5.1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应...
Hadoop中namenode和secondarynamenode工作机制讲解
09-30
在HDFS中，namenode和secondarynamenode起着至关重要的作用，它们确保了HDFS元数据的完整性和可靠性。 namenode是HDFS的主服务器，负责管理文件系统命名空间，维护文件系统树及整个HDFS的目录结构。所有关于文件...
第5章 NameNode和SecondaryNameNode
留不住斜阳的博客
06-02 1045
NameNode和SecondaryNameNode工作机制详解
11_尚硅谷大数据之HDFS_NameNode和SecondaryNameNode1
08-03
下面我们将详细探讨NameNode和SecondaryNameNode的工作机制，以及Fsimage和Edits文件的作用。 1. NameNode工作流程： - **首次启动**：NameNode会格式化存储，生成初始的Fsimage和Edits文件。之后，每次启动时，...
HDFS中NameNode和SecondaryNameNode工作机制详解
a1786742005的博客
02-03 2474
一、为何要引入SecondaryName？ 思考：NameNode中的元数据是储存在哪里的？        首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生...
22.NameNode&Secondary NameNode工作机制
知其然，知其所以然
10-06 372
NameNode&Secondary NameNode工作机制图解： 第一阶段：namenode启动 （1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志(edits)和镜像文件(fsimage)到内存 （2）客户端对元数据进行增删改的请求 （3）namenode记录操作日志，更新滚动日志 （4）nameno...
HDFS中NameNode和Secondary NameNode工作机制
weixin_30627341的博客
07-19 149
NameNode工作机制 0）启动概述 Namenode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，namenode开始监听datanode请求。但是此刻，namenode运行在安全模式，即namenode的文件系统对于客户端来说是只读的...
Seconddary NameNode工作机制
最新发布
qq_45275284的博客
03-23 119
所以如果NameNode中的元数据丢失，是可以从Secondary NameNode恢复一部分元数据信息，但不是全部，因为NameNode正在写的edits日志还没有拷贝到Secondary NameNode,这部分恢复不了。（1）Second NameNode询问NameNode是否需要checkpoint,直接带回NameNode是否检查结果。（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。（4）将滚动钱的编辑日志和镜像文件拷贝到secondary NameNode。
Namenode和SecondaryNamenode工作机制
qq_48959845的博客
08-27 378
1，首先Namenode需要和客户端进行交互 为了提高交互效率，Namenode需要把元数据放在内存中，但是为了防止断电数据丢失，元数据需要备份到磁盘（FsImage） 2，在Namenode与客户端交互的过程中需要对元数据进行操作，在交互的过程中，如果同步更新FsImage，那么效率就会非常低， 3，为了解决上述问题，因此引入Edits文件（此文件只进行追加操作）每当由元数据需要操作时，操作后的元数据追加到Edits中，这样即使断电，通过合并Edits和FsImage也可以进行数据保存。 4，那么如果一直
看了包懂SecondaryNamenode的工作机制
weixin_43326165的博客
08-29 208
SecondaryNamenode工作机制 前提知识点 ​ HDFS中，有NameNode和DataNode两种节点。 ​ DataNode是真正存数据的地方。NameNode存的是一种叫元数据的东西。而元数据可以理解为文件在磁盘中的目录(这个文件被分成几块、每块都在哪些机器上)。客户端请求查询数据的时候，通过NameNode查询到的元数据就能方便的在集群上不同的机器上找到需要的数据。 ​ 元数据...
namenode和secondarynamenode
03-16
Namenode 和 Secondarynamenode 是 Hadoop 中的两个重要组件。Namenode 是整个 Hadoop 集群的管理中心，负责维护文件系统的元数据，如文件目录结构、文件权限等。Secondarynamenode 则负责与 Namenode 配合工作，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值