hdfs的元数据的合并的过程

最新推荐文章于 2024-04-11 20:29:52 发布
最新推荐文章于 2024-04-11 20:29:52 发布
阅读量1k 收藏 2
点赞数
分类专栏： 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012580143/article/details/84613879
版权

1. secondarynamenode向namenode发送检查，检查namenode的元数据是否需要合并，每5min发送一次

2. Namenode需要进行元数据合并了

3. Secondarynamenode向namenode发送元数据合并的请求

4. Namenode将正在编辑的日志文件进行回滚，同事生成一个全新的正在编辑的日志文件

5. Secondarynamenode将需要合并的edits文件和fsimage文件拉取到自己的本地

6. Secondarynamenode将edits文件和fsimage文件进行合并，在内存中，根据edits文件的日志修改fsimage文件

7. Secondarynamenode将合并好的fsimage文件发送给namenode，自己本地也会保存一份

8. Namenode将最新的fsimage文件进行重命名覆盖掉原来的fsimage文件

 

 

RashaunHan
关注
专栏目录
HDFS架构-元数据分析
zhen_hero的博客
07-01 1419
五.HDFS架构 大多数分布式大数据框架都是主从架构 HDFS也是主从架构Master|Slave或称为管理节点|工作节点 主叫NameNode，中文称“名称节点” 从叫DataNode，中文称“数据节点” 5.1 NameNode 5.1.1 文件系统 file system文件系统：操作系统中负责管理文件、存储文件信息的软件 具体地说，它负责为用户创建文件，存入、读取、修改、转储、删除文件等 读文件 =&gt.
HDFS NameNode元数据的存储方式和工作机制
weixin_43742704的博客
09-20 1001
NameNode元数据的存储方式 元数据的存储方式在物理上是以内存+磁盘的形式存储的，是通过FsImage和Edits合并形成元数据
HDFS---NameNode管理元数据及HA模式
weixin_34381687的博客
10-10 147
NameNode主要保存了下面的内容 1-维护元数据信息。Block和文件之间的关系，即某一个特定文件都有哪些Block； 2-每一个Block存储在什么位置（DataNode上面）； 3-维护HDFS上面虚拟的目录树； 4-响应客户端的请求； NameNode如何保证元数据的可靠性 fsimage 和内存中保存的元数据互为镜像； edits.log中存储了一段时间内所有的元数...
打印流PrintStream
技术积累，技术分享
11-05 253
java.io.PrintStream:是打印流，PrintStream为其他输出流添加了功能，是他们能够方便的打印各种数据值的表示 PrintStream的特点 只负责数据的输出，不负责数据的读取 与其他输出流不同，PrintStream永远不会抛出IOException 有特有的方法，print（打印输出任意类型的值），println（打印输出任意类型的值并换行） PrintStream的构造方法 PrintStream(File file) 创建具有指定文件且不带自动行刷新的新打印流。 Pri
HDFS元数据管理机制
weixin_33705053的博客
10-10 216
1． 元数据管理概述HDFS元数据，按类型分，主要包括以下几个部分：1、文件、目录自身的属性信息，例如文件名，目录名，修改信息等。2、文件记录的信息的存储相关的信息，例如存储块信息，分块情况，副本个数等。3、记录HDFS的Datanode的信息，用于DataNode的管理。按形式分为内存元数据和元数据文件两种，分别存在内存和磁盘上。HDFS磁盘上元数据文件分为两类，用于持久化存储：fsimage ...
HDFS元数据管理
vincent_duan的专栏
11-04 479
元数据 HDFS的目录结构，包含哪些文件夹子文件夹，以及文件夹下面包含哪些文件，以及每个文件的Block信息（id,副本系数，Block存放在那个DataNode上） 元数据存放在${hadoop.tmp.dir}/name路径下。 在NameNode的内存中有一个树形结构，存放的就是元数据信息，对文件的任何修改都在内存中有体现，但是如果机器挂掉之后，内存中的数据就会丢失，因此NameNode会定...
Hadoop技术HDFS元数据共7页.pdf.zip
11-21
了解了HDFS的元数据基础后，我们来看“Hadoop技术HDFS元数据共7页.pdf.zip”这个文件，它很可能包含了对HDFS元数据更深入的探讨，包括元数据的管理、优化、备份恢复策略、故障检测与恢复等方面。这个文件可能详细...
HDFS-源码：应用HDFS的数据合并和数据分割技术
NameNode负责管理文件系统的命名空间以及客户端的元数据操作，而DataNode负责存储实际的数据块。 ## 1.2 HDFS架构及工作原理概述 HDFS的架构包括一个单一的NameNode和多个DataNode，数据被分割为块并存储在不同的...
HDFS元数据管理(checkpoint机制)
JinVijay的博客
02-06 924
NameNode的主要职责是记录用户存储数据的数据元信息 元数据:文件块,文件存储位置,块大小,副本的个数,文件的权限...... 记录元数据的形式由两种 元数据存储在内存上:内存对象 元数据存储在磁盘上:内存对象的序列化文件 当客户端对HDFS上的数据进行操作以后,数据的元数据会发生变化,NameNode可以FSImage.saveImage()修改内存对象数据.(内存中的数据存储量有限) 为了保证宕机后数据的正确性,我们可以设计定期的将存储元数据FSImage对象序列化到磁盘...
HDFS_05_元数据
huoborn
11-25 1543
HDFS_05_元数据 持续更新大数据文章… 1. 一个文件包含的内容 我们现在学的是 HDFS，HDFS是用来储存文件的，那么我们有必要了解一个文件包含了哪些内容 一个文件内容可以大体分为两个部分：元数据、真实数据。 1.1 元数据 元数据是用来描述文件基本信息的数据，比如： 文件大小 文件用户-组-权限 文件创建时间等… 如果是这个文件要上传到 HDFS，那么元数据至少要包含： 文件对应的数据块信息 文件的数据块副本数量 文件大小 文件用户-组-权限 文件创建时间等…
HDFS文件元数据信息管理模块
cloudeagle_bupt的专栏
03-10 2744
转自: http://blog.csdn.net/sxf_824/article/details/4842196 设计思想 HDFS中对数据存储的最小单位为block,HDFS会将其存储的大文件打散成很多64M大小的block，并将这些block分别存储在集群中datanode机器上。服务器namenode主要存储文件元数据信息（文件目录结构，具体文件由那些block组
HDFS 元数据管理机制
xxydzyr的博客
09-17 401
HDFS 元数据管理机制 文章目录HDFS 元数据管理机制元数据管理概述元数据目录相关文件dfs.namenode.name.dirVERSIONseen_txidFsimage & editssecondary namenodeCheckpointCheckpoint 详细步骤Checkpoint 触发条件 元数据管理概述 HDFS 元数据，按类型分，主要包括以下几个部分： 文件、目...
Hadoop之HDFS——【模块一】元数据架构_元数据hdfs(1)
最新发布
2401_84181606的博客
04-11 737
加VX：vip204888 （备注大数据获取）**[外链图片转存中…(img-bWILjvxs-1712838517047)]
hadoop合并日志_认识Hadoop之HDFS
weixin_39598954的博客
12-27 112
我觉得什么是hadoop这个东西,百度给的回答已经是很详尽了,有趣的一点是hadoop的名字来源是作者Doug Cutting儿子的玩具大象的名字hadoop的组成:Hadoop = hdfs(存储) + mapreduce(计算) + yarn(资源管理) + common(工具包)HDFS全称:分布式存储系统(Hadoop Distributed File System)作用:分布式存储系统提...
数据治理-过程-1-元数据管理-概念
weixin_41761912的博客
05-22 965
数据治理-过程-元数据管理-概念
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值