NameNode和Secondary NameNode的关系

最新推荐文章于 2021-12-18 00:18:42 发布
最新推荐文章于 2021-12-18 00:18:42 发布
阅读量249 收藏
点赞数
分类专栏： NN和SNN的关系 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tmh1995/article/details/106499450
版权

NameNode:
　　NameNode把改动写到文件系统edit logs上
　　在启动的时候读取fsimage(1)并跟edit logs合并
Secondary NameNode:
　　定时查询NameNode上的edit logs
　　把edit logs改动更新到fsimage(2)上并产生新的镜像文件
　　将镜像文件fsimage(2)拷贝回到NameNode上
　　在这里插入图片描述

如梦山河的故人
关注
专栏目录
Secondary NameNode和HA（高可用）区别与联系
杨鑫newlife的专栏
01-14 1369
Secondary NameNode作用 Hadoop2中引入了HA功能（高可用），但是我们可以不配置高可用，继续使用Secondary NameNode(虽然HA比Secondary Node好用); 看SecondaryNameNode之前，我们先看看NameNode NameNode主要用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些信息在内存，也可...
Hadoop配置启动时jps没有namenode和secondaryname，，网上方法都试过了没有用
最新发布
youhen921124的博客
03-20 1911
参考守护进程布局-->参考守护进程布局-->-- 指定 namenode 的 hdfs 协议文件系统的通信地址 -->--配置resourcemanager的scheduler的内部通讯地址-->--配置resourcemanager的web ui 的监控页面-->--配置resourcemanager的管理员的内部通讯地址-->--配置resoucemanager的资源调度的内部通讯地址-->--配置resourcemanager的内部通讯地址-->-- 指定resourcemanager的主机名-->
NameNode和SecondaryNameNode关系解析
仰望星空的实干家
07-18 3140
HDFS集群在启动后会有三个守护进程：NameNode,SecondaryNameNode和DataNode。我们都知道DataNode是用来存放数据的位置，那么NameNode和SecondaryNameNode的关系又是怎么样的呢？许多初学者根据名字可能会以为当NameNode出现故障时，SecondaryNameNode会自动成为新的NameNode，也就是NameNode的“热备”。通过下面
NameNode 和 Secondary NameNode 的区别和作用
热门推荐
一个烂人的随手笔记
02-16 1万+
原文来自 : http://www.jianshu.com/p/5d292a9a8c86前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What it really
SecondaryNameNode 和NameNode之间的关系
qq_58849698的博客
08-28 318
SecondaryNameNode 和NameNode之间的关系 (1).SecondaryNameNode引导NameNode滚动更新编辑日志文件，并开始将新的内容写入Edit Log.new。 (2).SecondaryNameNode将NameNode的FSImage和编辑日志文件复制到本地的检查点目录。 (3).SecondaryNameNode载入FSImage文件，回放编辑日志，将其合并到FSImage，将新的FSImage文件压缩后写入磁盘。 (4).SecondaryNameNod.
namenode与secondaryNamenode的联系
p_x1984的专栏
06-28 206
NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的 edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits，所以一段时间后日志文件可...
HDFS中NameNode和Secondary NameNode工作机制
猫不夜行的博客
07-19 169
NameNode工作机制 0）启动概述 Namenode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，namenode开始监听datanode请求。但是此刻，namenode运行在安全模式，即namenode的文件系统对于客户端来说是只读的。 系...
Hadoop中namenode和secondarynamenode工作机制讲解
09-30
在HDFS中，namenode和secondarynamenode起着至关重要的作用，它们确保了HDFS元数据的完整性和可靠性。 namenode是HDFS的主服务器，负责管理文件系统命名空间，维护文件系统树及整个HDFS的目录结构。所有关于文件...
NameNode和 SecondaryNameNode的区别与联系
qq_53229073的博客
12-18 2272
区别 （1）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。 （2）SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。 联系 （1）SecondaryNameNode中保存了一份和namenode一致的镜像文件（fsimage）和编辑日志（edits）。 （2）在主namenode发生故障时，（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。 ...
NameNode 与SecondaryNameNode 的区别与联系
qq_47435954的博客
08-02 3545
1）区别 （1）NameNode 负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的 数据块信息。 （2）SecondaryNameNode 主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。 2）联系： （1）SecondaryNameNode 中保存了一份和 namenode 一致的镜像文件（fsimage）和编 辑日志（edits）。 （2）在主 namenode 发生故障时（假设没有及时备份数据），可以从 SecondaryNameNode 恢复数据。 ...
NameNode和SecondaryNameNode详解
lzh253985690的博客
10-31 380
思考：NameNode中的元数据是存储在哪里的？是磁盘中还是内存中？         首先，我们假设储存在NameNode节点的磁盘中，因为经常要对NameNode进行访问获取DataNode的信息以相应客户请求，存放在磁盘中会导致效率过低。       &n...
NameNode和SecondaryNameNode 的关系 （重点）
小小小博客
12-09 850
Fsimage:元数据信息的备份（持久化），会加载在内存中 edits：Edits文件帮助记录文件增加和更新操作，提高效率 https://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-hdfs/HdfsEditsViewer.html NameNode在启动的时候需要加载edits(日志文件)和fsimage(文件) 所以在第一...
HDFS之NameNode和SecondaryNameNode的关系解读
qq_47947471的博客
09-24 283
NN和SNN工作机制 1.NameNode启动 ①第一次启动 NameNode 格式化后，创建 fsimage 和 edits 文件。如果不 是第一次启动，直接加载镜像文件和编辑日志到内存。 ②客户端对元数据进行增删改的请求。 ③NameNode 记录操作日志，更新滚动日志。 ④NameNode 在内存中对数据进行增删改查。 2.SecondaryNameNode工作 ①Secondary NameNode 询问 NameNode 是否需要 checkpoint。直接带回 NameNode 是否检查结果。
HDFS 读写流程图解&上传&下载&网络拓扑&Secondary NameNode与 NameNode 之间关系（重点干货）
yidianyidei的博客
07-21 228
HDFS上传图解 图解 块2 也是如此流程 扩展 网络拓扑 只描述他们关系 ，不管他们是什么。 图 机架感知 （副本选择策略）—副本数是3的情况下 ，第一个副本是localrack ，其它可能是不同机架不同节点，不会跨数据中心 机架感知 （副本选择策略）—副本数是3的情况下 ，第一个副本是localrack ，其它可能是不同机架不同节点，不会跨数据中心 为何建立通道串行？ 围绕 IO —>因为性能---->并行的话压力集中在客户端，使得性能变差------>只能串行 挂了？ 请求
HDFS 之 NameNode 和 SecondaryNameNode 关系解析
程序员学习圈
06-28 1065
 1.NN和2NN工作机制（1）第一阶段：NameNode启动（1）第一次启动的NameNode格式化后，创建的FsImage和编辑文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求。（3）的NameNode记录操作日志，更新滚动日志。（4）的NameNode在内存中对数据进行增删改查。（2）第二阶段：Secondary NameNode工作（1）Se...
【5】NameNode 和 SecondaryNameNode
weixin_43958974的博客
02-21 155
1. NN 和 2NN 工作机制 (1)思考：NameNode 中的元数据是存储在哪里的？ (2)NN 和2NN 工作机制 第一阶段：NameNode 启动 （1）第一次启动NameNode 格式化后，创建Fsimage 和Edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）NameNode 记录操作日志，更新滚动日志。 （...
Hadoop之HDFS分布式文件系统NameNode及Secondary NameNode详解
hzqing的博客
07-07 2225
一、NameNode启动时如何维护元数据： 概念介绍：        Edits文件：NameNode在本地操作系统的文件都会保存在Edits日志文件中。也就是说当文件系统中的任何元数据产生操作时，都会记录在Edits日志文件中。eg：在HDFS上创建一个文件，NameNode就会在Edits中插入一条记录。同样如果修改或者删除等操作，也会在Edits日志文件中新增一条数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值