HDFS~SecondaryNameNode

最新推荐文章于 2024-08-15 11:34:07 发布
最新推荐文章于 2024-08-15 11:34:07 发布
阅读量259 收藏
点赞数
分类专栏： 大数据 文章标签： hdfs 架构 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feizuiku0116/article/details/124578804
版权

SecondaryNameNode作用

  • 将edits和fsimage合并是很费力的工作，如果由NameNode完成就会影响响应速度，所以引入了SecondaryNameNode
  • SecondaryName的作用是帮助NameNode更新fsimage文件。
  • 它启动时会从NameNode处获取fsimage，之后定期从NameNode获取edits，将edits中的操作更新到fsimage中，再将这个新的fsimage送还给NameNode
飞Link
关注
专栏目录
HDFS中SecondaryNamenode工作原理(7)
大数据梦想家
11-06 2958
        我们在刚开始学习HDFS的时候,知道HDFS主要由管理者NameNode和DataNode组成。其中还有一个SecondaryNameNode在HDFS中扮演着辅助的作用,负责辅助NameNode管理工作。那么这篇博客,小菌就为大家分享secondarynameNode究竟是如何辅助管理的? &nbsp...
hadoop_3_2_0-hdfs-secondarynamenode-3.3.4-1.el7.x86_64.rpm
最新发布
09-16
Ambari+Bigtop 一站式编译和部署解决方案 https://gitee.com/tt-bigdata/ambari-env
HDFS--Secondary NameNode
zhang09090606的博客
08-08 1207
前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What it really do?(需翻墙)才发现并不是这样。文章写的很通俗易懂，现将其翻译如下： Secondary NameNode:它究竟有什么作用？ 在Hadoop中，有一些命名不好的模块，Secondar.
HDFS之SecondaryNameNode
Remember_Z的博客
05-19 658
1、回顾HDFS架构体系 之前有简单提及过，HDFS的架构中，除了NameNode和DataNode外，还有个SecondaryNameNode也扮演着重要的角色。再来简单回顾下HDFS的架构体系 （1）Client 文件切分，文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储 与 NameNode 交互，获取文件的位置信息 与 DataNode 交互，读取或者写入数据 Client 提供一些命令来管理 HDFS，比如启动或者关闭HDFS Client 可以通过一些
Hdfs(六)SecondaryNameNode
技术博客
08-15 761
当然，如果NameNode中的fsimage真的出问题了，还是可以用SecondaryNamenode中的fsimage替换一下NameNode上的fsimage，虽然已经不是最新的fsimage，但是我们可以将损失减小到最少，帮助主要的NameNode执行Checkpoint操作，以提高HDFS的可靠性和性能。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。
HDFS的SecondaryNameNode
菜如张学清的博客
08-24 2107
HDFS HDFS 采用Master/Slave的架构来存储数据，该架构主要由四个部分组成 HDFS Client NameNode DataNode SecondaryNameNode HDFS体系结构 HDFS体系结构 HDFS Client 文件切分，文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储 与 NameNode 交互，...
HDFS原理详解_SecondaryNameNode
feizuiku0116的博客
10-07 300
SecondaryNameNode的作用是专门帮助NameNode更新fsimage文件。它启动时会从NameNode处获取fsimage，之后定期从NameNode获取edits，将edits中的操作更新到fsimage中，再将这个新的fsimage送还给NameNode，这样NameNode中的fsimage就比较新了 DataNode并不与SecondaryNameNode通信，SecondaryNameNode只与NameNode通信，所以SecondaryNameNode无法替代NameNode.
hdfs-secondarynamenode.png
01-28
hdfs-secondarynamenode,nn2节点的作用，以及它的运行原理
Starting secondary namenodes [10-89-96-236.adminclickhouse.bjht] ERROR: Attempting to operate on hdfs secondarynamenode as root ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
05-31
这个错误提示与你启动 secondary namenode 时类似，也是因为你尝试以 root 用户身份启动 HDFS secondary namenode，但是系统中并没有定义 HDFS_SECONDARYNAMENODE_USER 环境变量。解决方法同样是在启动 secondary ...
Starting namenodes on [Test01] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes ERROR: Attempting to operate on hdfs datanode as root ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation. Starting secondary namenodes [Test01] ERROR: Attempting to operate on hdfs secondarynamenode as root ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation. 如何解决
07-14
- HDFS_SECONDARYNAMENODE_USER：用于 HDFS 的 SecondaryNameNode 用户。 您可以通过以下方式设置这些环境变量： ``` export HDFS_NAMENODE_USER= export HDFS_DATANODE_USER= export HDFS_SECONDARYNAMENODE...
浅谈HDFS的fsimage、edit log与SecondaryNameNode
LittleMagic's Blog
06-29 767
前言 HDFS SecondaryNameNode是干什么的？ 这是道经典的基础面试题，笔者问过面试者很多次（当然也被面试官问过很多次）。从印象看，大约有一半的被面试者无法正确作答，给出的答案甚至有“不就是NameNode的热备嘛”。本文来简单聊聊相关的知识，为节省篇幅，将SecondaryNameNode简称SNN，NameNode简称NN。 NN与fsimage、edit log文件 NN...
六、HDFS中的NameNode和SecondaryNameNode
象在舞的技术专栏
07-26 3221
上篇博客介绍了Hadoop的核心组件HDFS，本篇主要介绍HDFS中的NameNode和SecondaryNameNode，关注专栏《from zero to hero（Hadoop篇）》查看相关系列的文章~ 在这之前，我们首先得弄明白一件事情：NameNode中的元数据是存储在哪里的？我们可以假设一下，如果元数据存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还要响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失...
Hadoop 之 HDFS (NameNode 和 SecondaryNameNode)
weixin_48067943的博客
07-25 393
文章目录五、NameNode 和 SecondaryNameNode（开发重点）5.1 NN 和 2NN工作机制5.2 Fsimage和Edits解析5.2.1 oiv查看Fsimage文件5.2.2 oev 查看 Edits 文件5.3 CheckPoint时间设置5.4 NameNode 故障处理（扩展）5.5 集群安全模式5.6 NameNode 多目录配置 五、NameNode 和 SecondaryNameNode（开发重点） 5.1 NN 和 2NN工作机制 NameNode 中的元数据需要存
Hadoop的Secondary NameNode在HDFS中的作用是什么？
jakelihua
09-12 1456
Secondary NameNode还会将合并后的fsimage文件发送给NameNode，并帮助NameNode加载这个新的fsimage文件。为了减小Edit Log的大小，Secondary NameNode会定期将Edit Log进行压缩和清理，以减少NameNode的内存使用和磁盘空间占用。在HDFS中，Secondary NameNode（次要名称节点）是一个辅助节点，它的作用是帮助主要的NameNode（名称节点）执行一些重要的管理任务，以提高HDFS的可靠性和性能。
大数据框架之Hadoop：HDFS（五）NameNode和SecondaryNameNode（面试开发重点）
yiluohan0307的专栏
02-14 1089
NameNode和SecondaryNameNode（面试开发重点）
hadoop的secondarynamenode总结
lp895876294的博客
04-03 2459
一、SecondaryNameNode概念： 光从字面上来理解，SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是，ssn是HDFS架构中的一个组成部分，它真正的用途，是用来保存namenode中对HDFS metadata信息的备份，并减少namenode重启的时间。hadoop的默认配置中让snn进程默认运行在了namenode的那台机器上，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，更好的方式是：将snn的进程配置在另外一台机器上运行...
Hadoop的HDFS中的namenode和secondarynamenode的内容总结
llc1984513的博客
01-09 1299
NameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等等。当它运行的时候，这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上： fsimage：它是NameNode启动时对整个文件系统的快照。edits：它是在NameNode启动后，对文件系统的改动序列。 　　只有在NameNode重启时，edits才会合并到fsimage文件中，从而得到一个文件系统
Hadoop中SecondaryNameNode工作机制
lavimer
01-04 4761
首先来看一下HDFS的结构，如下图： 如上图，在HDFS架构中，NameNode是职责是管理元数据信息，DataNode的职责是负责数据存储，那么SecondaryNameNode的作用是什么呢？ 其实SecondaryNameNode是hadoop1.x中HDFS HA的一个解决方案，下面我们来看一下SecondaryNameNode工作的流程，如下图： 1.Nam
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值