hdfs组件nn和2nn原理

最新推荐文章于 2023-12-27 12:48:11 发布
最新推荐文章于 2023-12-27 12:48:11 发布
阅读量793 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： namenode原理解析 secondnamenode namenode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38312719/article/details/114780324
本文详细介绍了HDFS中NameNode和Secondary NameNode的工作原理，包括NameNode如何加载fsimage和edits文件到内存，以及Secondary NameNode如何协助归档和备份元数据，防止数据丢失。通过实例展示了文件上传过程中的元数据变化，揭示了HDFS确保数据安全和高效操作的机制。

nn与2nn原理图

在这里插入图片描述
说明：
1.namenode原始数据来源于历史的镜像文件(fsimage)和编辑日志文件(edits_inprogre)
2.namenode在启动的时候会加载这两个文件到内存中，这样增删元数据就是内存级别操作
3.edits_inprogre是最新的一些元数据操作，2nn会定时定量帮助归档，这样就能防止元数据丢失，造成namenode成为垃圾数据
4.2nn的备份策略是 满足一定可配置的阈值，当edits_inprogre达到一定时间或者达到了一个较大的日志数量时候，2nn开始帮助生成fsimage文件，并且2nn自己备份了一份，即使nn数据丢失，依然可以从2nn中拷贝过来恢复

nn与2nn原理图案例说明

1.准备环境,这样可以原理看的清楚

1.停止hdfs环境   stop-dfs.sh
2.删除之前的数据  rm -rf
了解本专栏 订阅专栏 解锁全文 超级会员免费看
《大数据： Hadoop（HDFS） NN，DN 工作原理_无2NN模式》
yexiangCSDN的专栏
09-25 460
一、HDFS 1. HDFS的本质是一个文件系统，特点是分布式，需要在多台机器启动多个NN,DN进程组成一个分布式系统 2. HDFS不支持对一个文件的并发写入，也不支持对文件的随机修改，不适合存储小文件(存储小文件时会降低NN的服务能力) 3. HDFS的块大小 块大小可以通过hdfs-site.xml中的dfs.blocksize进行配置！ 如果不配置，那么在hadoop1.x时，dfs.blocksize=64M，在hadoop2.xdfs.blocksize=12...
Hadoop-HDFS组件中的本地存储目录(NN/DN/SNN)结构剖析
一亩三分地
03-08 1329
HDFS metadata以树状结构存储整个HDFS上的文件和目录，以及相应的权限、配额和副本因子（replication factor）等。本文基于hadoop2.6-cdh5.16.2版本介绍HDFS Namenode本地目录的存储结构和Datanode数据块存储目录结构以及SecondaryName数据存储目录结构。 官网架构图: 一、NameNode：主 > 存储：...
NN元数据工作机制
weixin_33682719的博客
01-14 116
HDFS的实现思路：1.HDFS通过分布式集群来存储文件，为客户端提供便捷的访问方式2.文件存储到HDFS集群去的时候，被切分为block3.HDFS存放在若干datanode节点 上4.HDFS文件系统与真实的block之间有映射关系，由于NameNode管理5.每个block在集群中会存储多个副本，好处：提高数据的可靠性，吞吐量 HDFS架构：NameNodeDataNodeSecondar...
8）Hadoop之HDFS：NN和2NN
zy
09-23 1116
NN和2NN的工作机制 如图所示： 第一阶段：NameNode启动： ①若是第一次启动NameNode，则需要格式化NameNode，然后fsimage和Edits会被创建，如果不是第一次启动，则直接把fsimage和Edits加载进内存； ②客户端对元数据的增删改的请求； ③NN记录操作日志，更新滚动日志； ④NN在内存中对数据增删改； 第二阶段：Secondary NameNod...
【Hadoop】Hadoop组件 -之 HDFS组件
Echo 大数据之缘
05-06 1743
Hadoop作为分布式存储，分布式计算的大数据生态系统，涵盖了从数据源到数据采集，数据存储，数据计算，数据分析，数据应用的各个场景，学习大数据的架构，了解各个组件对地工作原理和运行机制非常关键。
【HDFS联邦（2）】HDFS Router-based Federation官网解读：HDFSRouterFederation的架构、各组件基本原理
最新发布
hiliang521的博客
12-27 1915
>本文主要参考官网：[HDFSRouterFederation](https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs-rbf/HDFSRouterFederation.html) 对HDFSRouterFederation进行了解读： >1. viewfs会带来的问题，HDFSRouterFederation是如何解决的 >2. HDFSRouterFederation的架构、各组件基本原理说明
简述hadoop中nn和2nn的工作原理
weixin_35755434的博客
01-07 269
Hadoop是一个分布式存储和计算系统。它由一组节点组成，每个节点都有存储和计算功能。 Hadoop中有两种节点：NameNode和DataNode。 NameNode是Hadoop的管理节点，负责维护文件系统的元数据，即文件名、块位置、块大小等信息。它还负责维护文件系统的命名空间，即文件目录结构。 DataNode是Hadoop的存储节点，负责存储文件的实际数据块。它接收来自NameNode的命...
大数据平台技术实践 四.HDFS原理和安装教程
02-08
<value>nn2.hadoop:50070</value> <description>nn2的HTTP地址</description> </property>9.3 配置HDFS HA9.3.1 JournalNode配置JournalNode是用于NameNode之间同步元数据的重要组件。每个JournalNode都需要配置一个...
HDFS：NameNode和2NN工作原理分析
BoringError的博客
08-28 1032
在HDFS的组成中，最重要的两个核心进程分别为NameNode和DataNode，NameNode负责存储元数据信息，而DataNode则用于存放数据，而另一个进程被称为2NN（Secondary NameNode），它的作用在于辅助NameNode做日志合并，防止元数据丢失。
RE2RNN:EMNLP 2020论文“冷启动和可解释性”的源代码
05-05
RE2RNN EMNLP2020论文的源代码：“”，，赵应，沉彬和涂克伟。 引文 @inproceedings{jiang-etal-2020-cold, title = "Cold-start and Interpretability: Turning Regular Expressions into Trainable Recurrent Neural Networks", author = "Jiang, Chengyue and Zhao, Yinggong and Chu, Shanbo and Shen, Libin and Tu, Kewei", booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Nat
HDFS nnTop统计功能
走在前往架构师的路上
09-19 3894
前言 在HDFS的使用过程中，有的时候集群维护者可能想要知道哪些用户使用他们集群的资源比较多，以此有一个全面的了解。在YARN中，衡量用户使用资源的一个指标是container树，而在HDFS中我们 可以用什么指标呢？答案是请求数。当然你可能会说，为什么不能用写入写出的总数据量作为指标呢？没错，这的确也是一个可选指标，但是显然它们不易收集以及统计，相比于请求数而言。那么问题又来了，是否我们有
【Hadoop-HDFS】详细解析NN和2NN工作原理，NN故障处理，NN多目录，集群安全模式
一个写湿的程序猿
07-22 1805
第五章 NameNode和SecondaryNameNode 文章目录第五章 NameNode和SecondaryNameNode5.1 NN和2NN工作机制5.2 Fsimage和Edits解析5.3 CheckPoint时间设置5.4 NameNode故障处理5.5 集群安全模式5.6 NameNode多目录配置 5.1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效
什么是神经网络（Neural Network，NN）
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-21 1万+
神经网络是一种模拟人类大脑工作方式的计算模型，它是深度学习和机器学习领域的基础。神经网络由大量的节点（或称为“神经元”）组成，这些节点在网络中相互连接，可以处理复杂的数据输入，执行各种任务，如分类、回归、模式识别等。
【Hadoop学习之HDFS】_11HDFS之NN和2NN
qq_40947493的博客
02-04 464
文章目录一、NN与2NN的工作机制二、FsImage和Edits解析三、CheckPoint时间设置四、NameNode故障处理五、集群安全模式六、NameNode多目录配置 一、NN与2NN的工作机制 Fsimage：NameNode内存中元数据序列化后形成的文件。 Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。 NameNode启动时，先滚动Edits并生...
hadoop系列之HDFS 读写数据流程、NN和2NN、DataNode工作机制
算法小生
01-08 427
1.第一次启动NameNode格式化后，创建Fsimage和Edits文件，如果不是第一次启动，直接加载Fsimage和Edits到内存。8.NameNode将fsimage.chkpoint重新命名为fsimage,替换旧fsimage。5.Secondary NaneNode加载Edits和Fsimage到内存，并合并。4.将滚动前的Edits和Fsimage拷贝到Secondary NameNode。3.NameNode记录操作日志，更新滚动日志。4.NameNode在内存中对元数据进行增删改。
大数据-Hadoop-HDFS(三)：NameNode（NN）、SecondaryNameNode（2NN）
u013250861的博客
04-01 164
但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。
hadoop集群搭建步骤整理及事项
u012615130的专栏
03-11 183
第一步、修改sshd_config，清空resolv.confvi /etc/ssh/sshd_config找到#UseDNS yes 修改为UseDNS no找到下面三行RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keys将注释去掉 service sshd restart然后保存...
集群namenode均为standby
u013176920的博客
12-14 551
现象描述： 一体化集群，nn1和nn2都能正常启动，但是节点状态均为standby，手动切换状态nn就会挂掉，启动zkfc也会挂掉 原因查找： 主机防火墙关闭状态，没有异常；journalnode也能正常连接 发现journalnode nsid和namenode nsid不一致 nn2挂掉前的日志，大量刷日志： 查VERSION中的clusterid，namenode和datan...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值