关于FsImage和DataNode的一些分析

最新推荐文章于 2024-11-01 14:48:20 发布
最新推荐文章于 2024-11-01 14:48:20 发布
阅读量425 收藏 10
点赞数 4
文章标签： 笔记 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63751113/article/details/136578161
版权
本文解释了Fsimage在分布式文件系统中的作用，它仅存储块ID，不持久保存块与数据节点的映射，这些映射信息由数据节点定期向名称节点报告。元数据通过收集这些块列表来建立文件名到块ID再到数据节点ID的关系。
摘要由CSDN通过智能技术生成

2f0f7f14a15c41379954a04a4a1b6f76.png

 之前关于Fsimage存储内容有点糊涂，原来它只包含了块的Id，不存储块与块所对应数据节点的映射关系，这个内容保存在内存的元数据中,所以课本上才会说"并不持久的保存这些信息"，这点一定要搞清楚。

那么元数据关于这部分的信息怎么来的呢？

就是通过数据节点定期向名称节点发送自己的块列表信息(信息内容例如:DataNode1(Block1,Block2...))，元数据就能轻松的得到

文件名->块id->数据节点id这样的映射关系

是好寂馍耶
关注
Hadoop-2.4.1学习之创建fsimage和edits源码分析
skyWalker_ONLY
09-24 3192
在Hadoop中fsimage保存最新的检查点信息，edits保存自最新检查点后的命名空间的变化。在分析hdfs namenode–format的源代码时，已经明确了该过程根据配置文件的信息创建fsimage和edits文件，这篇文章具体分析一下创建fsimage和edits文件的源代码。
FSimage源码剖析
METON的博客
08-08 2914
FSImage文件主要是用来存储hdfs文件系统元数据信息(文件及目录结构 组成文件的块的信息 副本数量信息等)，并且NameNode会定期将文件系统的命名空间元数据信息保存到fsimage文件中；以防止NameNode掉电或者进程崩溃；但是如果实时的将内存中的hdfs文件系统元数据信息保存同步到fsimage文件中，将会非常消耗资源且造成NameNode运行缓慢，所有NameNode会将命名空间的修改操作先保存在编辑日志editlogs中；然后定期合并fsimage和editlogs文件。...
HDFS的存储结构以及操作流程简单总结
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
01-02 5206
一、NameNode数据结构 1、物理结构 ${dfs.name.dir}/current/{VERSION,edits,fsimage,fstime} dfs.name.dir是一个目录列表，存储每个目录的镜像。VERSION文件是Java属性文件,包含运行HDFS的版本信息。 edits，是编辑日志文件。当客户断执行写操作的时，NameNode首先会在编辑日志中写下记录，并在内存中保存
HDFS分布式文件系统详细介绍
bitmao888的博客
03-31 2350
文章目录1、分布式文件系统详细介绍2、HDFS分布式文件系统设计目标3、HDFS的来源4、HDFS的架构图之基础架构5、抽象成数据块的好处块缓存hdfs的文件权限验证6、HDFS的元数据信息FSimage以及edits和secondaryNN的作用FSImage与edits详解FSimage文件当中的文件信息查看edits当中的文件信息查看secondarynameNode如何辅助管理FSImag...
fsimage 和 editlogs 是做什么用的
weixin_59295776的博客
12-11 709
fsimage文件存储的是Hadoop的元数据文件, 如果namenode发生故障, 最近的fsimage文件会被载入到内存中, 用来重构元数据的最近状态, 再从相关点开始向前执行edit logs文件中记录的每个事务. 文件系统客户端执行写操作时, 这些事务会首先记录到日志文件中. 在namenode运行期间, 客户端对hdfs的写操作都保存到edit文件中, 久而久之就会造成edit文件变得很大, 这对namenode的运行没有影响, 但是如果namenode重启, 它会将fsimage中的内容映射到内
HDFS源码分析之FSImage文件内容（一）总体格式
weixin_34259232的博客
04-29 528
FSImage文件是HDFS中名字节点NameNode上文件/目录元数据在特定某一时刻的持久化存储文件。它的作用不言而喻，在HA出现之前，NameNode因为各种原因宕机后，若要恢复或在其他机器上重启NameNode，重新组织元数据，就需要加载对应的FSImage文件、FSEditLog文件，并在内存中重做FSEditLog文件中的事务条...
【Hadoop3.3.6】数据块副本放置策略及解析EditLog和FsImage
若兰幽竹
04-22 1578
目录一、摘要二、正文2.1 环境说明2.2 网络拓扑2.3 Hadoop副本放置策略介绍2.4 解析EditLog和Fsimage镜像文件三、小结 一、摘要 通过解析存储于NameNode节点上的日志文件EditLog和镜像文件（元数据）Fsimage来反向验证HDFS的数据块副本存放策略，其目的是希望加深对Hadoop的数据块放置策略的理解以及掌握如何查看日志文件及镜像文件的方法和理解其内容。 二、正文 2.1 环境说明 软件 说明 VMWareWorkstation 版本16.2.+
回顾hadoop以及hadoopHA的fsimage和editlog的知识点
weixin_39150719的博客
10-14 685
hadoop1.x中的namenode和secondary namenode 在hadoop1.x中，hdfs集群的namenode存在单点故障，一旦namenode出现故障，整个集群将不可用 secondary namenode并没有提供故障转移的能力，集群的可用性受到影响 secondary namenode只是周期性的把edit logs文件更新到fsimage，namenode在重启的时候...
关于namenode、datanode和secondarynamenode的互动过程
enl_green的专栏
09-12 993
元数据是保存在namenode中的，这些元数据包括文件名、目录名，文件目录从属关系、文件大小，文件与块对应关系，块所对应的节点等；namenode会将这些元数据信息保存在硬盘上，对应的名字是fsimage_txid（即类似这种：fsimage_000000000000003210），以备下次启动时，可以及时获取到整个hdfs文件系统的重要信息;除了这个文件，还有一个文件edits（或者叫editl...
Day06-HDFS的体系结构(namenode作用、datanode作用、block)、fsimage文件、edits文件和checkpoing检查点机制
长安一片月的博客
06-07 619
HDFS的体系结构(namenode作用、datanode作用、block)、fsimage文件、edits文件和checkpoing检查点机制和Namenode开启过程HDFS的体系结构-------------------------    1.namenode[守护进程]作用：        管理文件系统名称空间；【fsimage元数据镜像文件】 管理客户端对文件的访问。【edits操作文件...
Hadoop NameNode的元数据持久化存储FSImage和日志存储EditLog源代码分析
lskyne的专栏
04-24 8541
HDFS NameNode High Availability中一个关键的问题就是Editlog如何保存，怎么才能保证在Active和Standby的NameNode切换时Editlog不丢失记录，也不会重复计算。这就需要对NameNode的元数据持久化机制（metadata persistent storage）有比较深的理解。目前Hadoop EditLogs Re-write由Clouder
HDFS中的FSImage和Edit Log的介绍以及相关实现类
weixin_45800556的博客
11-03 742
1.介绍 HDFS的文件系统目录树、文件/目录元数据信息以及文件对应的数据块等信息会持久化到磁盘上，保存在FSImage和Edit Log中。 其中，Fsimage文件是文件系统元数据的持久性检查点，即保存了某一时刻全量的NameNode的内存信息，该时刻往后的修改信息都会保存在Edit Log中，利用该机制确保了NameNode挂掉之后，内存数据不会丢失（因为全都保存到了磁盘上了）。另外，当Na...
Edits和Fsimage文件
海鸥传奇的专栏
06-11 3703
知识点 通过：hdfs oev -i edits_inprogress_0000000000000000003 -o bbb.xml 查看edits_inprogress_0000000000000000003文件的内容，把内容输出到bbb.xml中，vim bbb.xml即可查看内容 1.当执行格式化指令时，会在指定的tmp目录下，生成/dfs/name目录（此目录在不设定dfs.n...
HDFS：Edits和Fsimage详解与合并流程
大数据开发、JAVA开发、人工智能AI
03-20 3157
HDFS：Edits和Fsimage详解与合并流程 NameNode如何管理和存储元数据 计算机中存储数据有两种：内存或磁盘 元数据存储磁盘: 存储磁盘无法面对客户端对元数据信息的任意的快速低延迟的响应，但是安全性高 元数据存储内存：元数据存放内存，可以高效的查询以及快速响应客户端的查询请求，数据保存在内存，如果断电，内存中的数据全部丢失 因此，考虑上述两种存储方式的优缺点，HDFS采用了内存+磁盘的形式来管理元数据。即: NameNode(内存)+FsImage文件. 其中，NameNode文件维护了文件
Hadoop Namenode元数据文件 Fsimage、editlog、seen_txid说明
TURING.DT
03-03 5278
Hadoop NameNode元数据的$dfs.namenode.name.dir/current/文件夹有几个文件： 1 |--current/ 2 |-- VERSION 3 |-- edits_* 4 |-- fsimage_0000000000008547077 5 |-- fsimage_0000000000008547077.md5 6 |-- seen_t
Fsimage和Edits概述及其作用
大数据跟我学i
10-19 4249
文章目录NameNode元数据解析1.预备知识2.元数据 目标：掌握Fsumage和Edits的作用 NameNode元数据解析 1.预备知识 元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。 2.元数据 1.第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载edits和fsimage文件到内存
NameNode上的fsimage和edits文件
obcy
12-23 935
思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效...
嵌入式通信协议：UART简明学习笔记
weixin_73867577的博客
10-31 815
学习UART串口的简明学习笔记
[自用，更新自day5]瑞吉外卖代码及笔记
最新发布
lapiii的博客
11-01 987
当使用ThreadLocal维护变量时，ThreadLocal为每个使用该变量的线程提供独立的变量副本，所以每一个线程都可以独立地改变自己的副本，而不会影响其它线程所对应的副本。Mybatis Plus公共字段自动填充，也就是在插入或者更新的时候为指定字段赋予指定的值，使用它的好处就是可以统一对这些字段进行处理，避免了重复代码。因为在分页查询的Dish的records(菜品记录中)，只有这个菜品所属的categoryId，但是我们需要分页的时候展示的是菜品名字。
namenode和datanode，secondarynode的功能
08-06
综上所述，NameNode负责管理HDFS的命名空间和元数据，DataNode存储和管理实际的数据块，SecondaryNameNode协助NameNode进行编辑日志和镜像的合并工作。这三个组件共同协作，构成了HDFS的基础架构，实现了Hadoop的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值