HDFS之Checkpoint

最新推荐文章于 2024-10-23 02:46:58 发布
最新推荐文章于 2024-10-23 02:46:58 发布
阅读量507 收藏
点赞数
分类专栏： 大数据 文章标签： 流程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45400755/article/details/99624272
版权

HDFS存储中NN的元数据管理机制
元数据：HDFS的目录结构以及每个文件的BLOCK信息（id，副本系数、block存放1在哪个DN上）

元数据存放在
这是我配置的core-site.xml的文件
在这里插入图片描述
这是本机的目录
在这里插入图片描述
接下来产看此目录的文件列表
在这里插入图片描述
其中edits_0000000000000000001-0000000000000000019为日志
fsimage_0000000000000000106为磁盘上的记录文件
edits_inprogress_0000000000000000109表示正在生成的日志
一开始存储元数据，都是在内存NN中存取，如果元数据都存放在内存中去，这个机子挂掉，就会导致数据丢失，以后client去读数据就会找不到block在哪里。所以需要定时的存储在磁盘上去。
在这里插入图片描述

慢熟的孩子
关注
专栏目录
HDFS中的checkpoint(检查点)
weixin_47681855的博客
09-30 1938
checkpoint机制 当客户端向NN发送请求以后 在NN当中的内存区的FsImage对象(元数据–内存对象) 会及时更新元数据信息(updataNode) 但问题是元数据为了安全起见会进行持久化的存储,将内存中的文件序列化到磁盘当中,如果用户每次就行访问都进行持久化的话,又太消耗系统资源,基于这一问题就产生了checkpoint机制 问题之所在: ​ 当客户端对HDFS上的数据进行频繁操作以后, 数据的元数据会发生变化 , NameNode可以FSImage.saveImage()修改内存对象数据 ,
hdfs之checkpoint
wangneng_168的专栏
03-24 331
前提说明：研究的hadoop版本1.0.3 checkpoint的触发条件： 默认1小时进行一次merge； edits的文件大小超过大致64M 以上两个条件，满足任意一个即可，每隔5分钟进行一次条件检查。   checkpoit流程： 在SNN（secondary namenode）服务器上检查fs.checkpoint.dir  fs.checkpoint.edit...
Hadoop学习——HDFS中的Snapshot和Checkpoint
07-09 5127
Snapshot（快照）：在数据库或者文件系统中，一个快照表示对当前系统状态的一个备份，当系统发生故障时，可以利用这个快照将系统恢复到产生快照时的样子。 Checkpoint（检查点）：因为数据库系统或者像HDFS这样的分布式文件系统，对文件数据的修改不是直接写回到磁盘的，很多操作是先缓存到内存的Buffer中，当遇到一个检查点Checkpoint时，系统会强制将内存中的数据写回磁盘，当然此时才
Flink系列知识之：Checkpoint原理
大数据开发、JAVA开发、人工智能AI
09-18 1442
Flink系列知识之：Checkpoint原理
hdfs中CheckPoint(检查点)
Dimples.
11-18 3478
检查点节点 NameNode使用两个文件来保留其命名空间：fsimage，它是命名空间和编辑的最新检查点，是自检查点以来命名空间更改的日志（日志）。当NameNode启动时，它会合并fsimage和edits journal以提供文件系统元数据的最新视图。NameNode然后用新的HDFS状态覆盖fsimage并开始一个新的编辑日志。 Checkpoint节点定期创建命名空间的检查点。它从活...
HDFS 重要机制之 checkpoint
最新发布
weixin_40881369的博客
10-23 28
核心概念 hdfs checkpoint 机制对于 namenode 元数据的保护至关重要, 是否正常完成检查点是评估 hdfs 集群健康度和风险的重要指标 editslog : 对 hdfs 操作的事务记录，类似于 wal ，edit log文件以 edits_ 开头，后面跟一个txid范围段，并且多个edit log之间首尾相连,正在使用的 edit log 名字为 edits_inpro...
HDFS元数据管理(checkpoint机制)
JinVijay的博客
02-06 952
NameNode的主要职责是记录用户存储数据的数据元信息 元数据:文件块,文件存储位置,块大小,副本的个数,文件的权限...... 记录元数据的形式由两种 元数据存储在内存上:内存对象 元数据存储在磁盘上:内存对象的序列化文件 当客户端对HDFS上的数据进行操作以后,数据的元数据会发生变化,NameNode可以FSImage.saveImage()修改内存对象数据.(内存中的数据存储量有限) 为了保证宕机后数据的正确性,我们可以设计定期的将存储元数据FSImage对象序列化到磁盘...
hdfs的checkpoint及namenode故障恢复
m0_59737088的博客
08-01 661
Hdfs中 nameNode的持久化相关 # 1. HDFS接受客户端的文件操作后。 # 2. 先将操作的命令 以日志的方式记录到editslog中。 # 3. 然后再将指令对应的文件元数据的修改操作，修改内存中的元数据信息。 # 4. SNN定期负责将editslog中的文件合并到fsimage中。 Hdfs的checkPoint机制 SecondaryNameNode向NameNode发起合并请求 NameNode将当前的Editslog文件保存改名edits，并新建EditsLog继续持久
大数据面试-20210308：hdfs ，Spark streaming， Flink三者中的checkpoint原理 hdfs checkpoint原理
东城庞太师
06-08 787
每达到触发条件，会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage下载到本地，并加载到内存进行merge （这个过程称为checkpoint），如下图所示：
HDFS原理加强之---元数据管理和checkpoint
weixin_45484707的博客
08-16 309
元数据存储位置和存储策略 1、元数据： （1）元数据维护HDFS文件系统和虚拟访问目录的信息；namenode记录用户存储数据的数据元信息。 （2）元数据包括：数据切块描述信息、副本个数、存储位置、切块大小、文件权限等。 （3）元数据存储位置：/opt/hdpdata/data/current/BP-742774004-192.168.133.3-1597321931822/current/finalized/subdir0/subdir0 2、元数据的存储位置：（两种） （1）内存：元数据存储在内存对象
HDFS :checkpoint流程&&文件上传下载流程概述
ludagea的博客
03-20 311
checkpoint流程&&文件上传下载流程概述
HDFS的Checkpoint 执行流程
limenghao2002的博客
07-03 451
HDFS的Checkpoint 执行流程
D07 hdfs读写机制及其checkpoint机制
你是谁笔下的少年，在风中辗转成歌
08-25 2764
一、hdfs写数据流程总结：即向hdfs上传文件 将源文件取128M做成一个block。 具体实现步骤 ： ①client：向namenode请求上传文件；                         namenode：返回响应，可以上传； ②client：rpc请求上传第一个block，请返回datanode；namenode：返回dn1,dn3,dn4;
[Hadoop] HDFS 详解一（原理篇）
mnasd的博客
12-21 425
目录 HDFS的工作机制 概述 HDFS 写数据流程 HDFS 读数据流程 NameNode的工作机制 NameNode的职责 元数据的管理 DataNode的工作机制 概述 观察验证DataNode 功能 HDFS的工作机制 工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力。 很多不是真正理解hadoop技术体系的...
HDFS 客户端与节点间读写与checkpoint流程图总结
奔跑的蜗牛的博客
06-24 563
文章目录HDFS写数据流程图HDFS读数据流程图HDFS 元数据管理与checkpoint HDFS写数据流程图 客户端会根据配置文件将需要写入的文件切分为多个block, 例如将 jdk.tar.gz 切分为 block1 和 block2 客户端首先向NN发送写数据的请求， 当请求同意后，客户端会向NN发送请求写入block1，NN会告知客户端block1将被写入哪些DN（DN1, DN2, DN3） 然后客户端会找将写入的第一个DN建立数据传输的连接，然后第一个DN再与第二个将要写入的DN
HDFS，Checkpoint的机制
javaMylife的博客
12-15 332
一、左上角：这里是namenode下元数据的目录形式 1、一系列的edits_000000000**-edits_000000000** 这是历史的操作日志 2、fsimage_00000000000000000 元数据的持久化镜像文件。 3、fsimage_00000000000000000.md5 元数据的md5值 4、edits_inprogress 这是正在生成的日志文件，达到一定的大小后。就会生成一个历史的日志文件 5、checkpoint的时候会 edits_inprogres...
HADOOP 离线计算机系统【二】HDFS详解
wzq18845280610的博客
11-26 1572
HDFS详解******HDFS基本概念篇******1.HDFS前言2. HDFS的概念和特性******HDFS基本操作篇******3. HDFS的shell(命令行客户端)操作3.1 HDFS命令行客户端使用3.2 命令行客户端支持的命令参3.2 常用命令参数介绍******HDFS原理篇******4.hdfs的工作机制**详细请看 ：HDFS 详解:** [https://blog.csdn.net/wzq18845280610/article/details/110188742](https:
关于Flink的checkpoint的案例演示
LBJ_小松鼠的博客
03-09 1293
编写Flink入门案例程序，词频统计WordCount，自定义数据源，产生数据：spark flink，设置Checkpoint，运行程序，查看Checkpoint检查点数据存储。 代码: // TODO： ================= 建议必须设置 =================== // a. 设置Checkpoint-State的状态后端为FsStateBackend，本地测试时使用本地路径，集群测试时使用传入的HDFS的路径 if (args.length < 1) { env.
flink checkpoint hdfs
03-14
Flink Checkpoint HDFS 是指 Flink 在进行流式计算时，将数据进行快照备份的机制，并将备份数据存储在 HDFS 上。这样可以保证在出现故障时，可以快速恢复数据，保证计算的正确性和连续性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值