HDFS之Checkpoint

最新推荐文章于 2023-03-20 20:20:37 发布
最新推荐文章于 2023-03-20 20:20:37 发布
阅读量484 收藏
点赞数
分类专栏： 大数据 文章标签： 流程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45400755/article/details/99624272
版权

HDFS存储中NN的元数据管理机制
元数据：HDFS的目录结构以及每个文件的BLOCK信息（id，副本系数、block存放1在哪个DN上）

元数据存放在
这是我配置的core-site.xml的文件
在这里插入图片描述
这是本机的目录
在这里插入图片描述
接下来产看此目录的文件列表
在这里插入图片描述
其中edits_0000000000000000001-0000000000000000019为日志
fsimage_0000000000000000106为磁盘上的记录文件
edits_inprogress_0000000000000000109表示正在生成的日志
一开始存储元数据，都是在内存NN中存取，如果元数据都存放在内存中去，这个机子挂掉，就会导致数据丢失，以后client去读数据就会找不到block在哪里。所以需要定时的存储在磁盘上去。
在这里插入图片描述

慢熟的孩子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HADOOP 离线计算机系统【二】HDFS详解
wzq18845280610的博客
11-26 1534
HDFS详解******HDFS基本概念篇******1.HDFS前言2. HDFS的概念和特性******HDFS基本操作篇******3. HDFS的shell(命令行客户端)操作3.1 HDFS命令行客户端使用3.2 命令行客户端支持的命令参3.2 常用命令参数介绍******HDFS原理篇******4.hdfs的工作机制**详细请看 ：HDFS 详解:** [https://blog.csdn.net/wzq18845280610/article/details/110188742](https:
HDFS中的checkpoint(检查点)
weixin_47681855的博客
09-30 1850
checkpoint机制 当客户端向NN发送请求以后 在NN当中的内存区的FsImage对象(元数据–内存对象) 会及时更新元数据信息(updataNode) 但问题是元数据为了安全起见会进行持久化的存储,将内存中的文件序列化到磁盘当中,如果用户每次就行访问都进行持久化的话,又太消耗系统资源,基于这一问题就产生了checkpoint机制 问题之所在: ​ 当客户端对HDFS上的数据进行频繁操作以后, 数据的元数据会发生变化 , NameNode可以FSImage.saveImage()修改内存对象数据 ,
hdfs中CheckPoint(检查点)
Dimples.
11-18 3420
检查点节点 NameNode使用两个文件来保留其命名空间：fsimage，它是命名空间和编辑的最新检查点，是自检查点以来命名空间更改的日志（日志）。当NameNode启动时，它会合并fsimage和edits journal以提供文件系统元数据的最新视图。NameNode然后用新的HDFS状态覆盖fsimage并开始一个新的编辑日志。 Checkpoint节点定期创建命名空间的检查点。它从活...
Hadoop学习——HDFS中的Snapshot和Checkpoint
07-09 5049
Snapshot（快照）：在数据库或者文件系统中，一个快照表示对当前系统状态的一个备份，当系统发生故障时，可以利用这个快照将系统恢复到产生快照时的样子。 Checkpoint（检查点）：因为数据库系统或者像HDFS这样的分布式文件系统，对文件数据的修改不是直接写回到磁盘的，很多操作是先缓存到内存的Buffer中，当遇到一个检查点Checkpoint时，系统会强制将内存中的数据写回磁盘，当然此时才
HDFS :checkpoint流程&&文件上传下载流程概述
ludagea的博客
03-20 277
checkpoint流程&&文件上传下载流程概述
HDFS初探
solumin的博客
04-18 363
http://192.168.1.179:8088 YARN http://192.168.1.179:50070 HDFS java -classpath /workplace/Test Error: Could not find or load main class workspace.HDFSExample.Test 解决 修改/etc/profile export CLASSPA...
HDFS详解②
01-20
【HDFS详解②】 Hadoop分布式文件系统（HDFS）是大数据处理的核心组件，它提供了高容错性、可扩展性和高效的数据访问能力。本文将深入探讨HDFS的两个关键方面：数据流管理和NameNode与SecondaryNameNode的运作机制...
Hadoop - HDFS Users Guide
最新发布
06-21
7 Import Checkpoint 5 8 Rebalancer 5 9 Rack Awareness 5 10 Safemode 6 11 fsck 6 12 fetchdt 6 13 Recovery Mode 7 14 Upgrade and Rollback 7 15 File Permissions and Security 8 16 Scalability 8 17 Related...
hdfs1073.pdf
06-29
HDFS-1073 Design Document, Transaction IDs 2 1.1 Persistent Transaction IDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2 Non-namespace transactions . . . . . . . ....
hdfs-元数据测试
10-23
同时，通过修改配置参数 dfs.namenode.checkpoint.period 的值，可以改变系统做元数据合并的时间间隔。 元数据合并机制的优点： 1. 提高 Namenode 的启动速度：通过合并元数据镜像文件和修改日志，Namenode 可以...
07.HDFS工作机制--namenode元数据管理--checkpoint.mp4
04-29
07.HDFS工作机制--namenode元数据管理--checkpoint.mp4
spark源码阅读笔记RDD（五） RDD中的checkpoint原理
legotime的博客
05-01 2985
----------------------------目录---------------------------- 为何需要checkpoint？ checkPoint作用 源码分析 ------------------------------------------------------------ 为何需要checkpoint？ 大家知道checkpoi
HDFS工作流程（工作机制）解析
qq_43461159的博客
03-21 3140
HDFS工作流程，HDFS工作机制，数据流，edits，fsimge，节点退役
HDFS中的checkpoint（ 检查点 ）的问题
weixin_30352191的博客
08-05 1469
1、问题的描述 由于某种原因，需要在原来已经部署了Cloudera CDH集群上重新部署，重新部署之后，启动集群，由于Cloudera Manager 会默认设置dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns分别是1个小时和1000000。只要达到这两个条件之一，secondarynamenode会执行checkp...
HDFS元数据管理(checkpoint机制)
JinVijay的博客
02-06 904
NameNode的主要职责是记录用户存储数据的数据元信息 元数据:文件块,文件存储位置,块大小,副本的个数,文件的权限...... 记录元数据的形式由两种 元数据存储在内存上:内存对象 元数据存储在磁盘上:内存对象的序列化文件 当客户端对HDFS上的数据进行操作以后,数据的元数据会发生变化,NameNode可以FSImage.saveImage()修改内存对象数据.(内存中的数据存储量有限) 为了保证宕机后数据的正确性,我们可以设计定期的将存储元数据FSImage对象序列化到磁盘...
HDFS 客户端与节点间读写与checkpoint流程图总结
奔跑的蜗牛的博客
06-24 494
文章目录HDFS写数据流程图HDFS读数据流程图HDFS 元数据管理与checkpoint HDFS写数据流程图 客户端会根据配置文件将需要写入的文件切分为多个block, 例如将 jdk.tar.gz 切分为 block1 和 block2 客户端首先向NN发送写数据的请求， 当请求同意后，客户端会向NN发送请求写入block1，NN会告知客户端block1将被写入哪些DN（DN1, DN2, DN3） 然后客户端会找将写入的第一个DN建立数据传输的连接，然后第一个DN再与第二个将要写入的DN
D07 hdfs读写机制及其checkpoint机制
你是谁笔下的少年，在风中辗转成歌
08-25 2710
一、hdfs写数据流程总结：即向hdfs上传文件 将源文件取128M做成一个block。 具体实现步骤 ： ①client：向namenode请求上传文件；                         namenode：返回响应，可以上传； ②client：rpc请求上传第一个block，请返回datanode；namenode：返回dn1,dn3,dn4;
[Hadoop] HDFS 详解一（原理篇）
mnasd的博客
12-21 390
目录 HDFS的工作机制 概述 HDFS 写数据流程 HDFS 读数据流程 NameNode的工作机制 NameNode的职责 元数据的管理 DataNode的工作机制 概述 观察验证DataNode 功能 HDFS的工作机制 工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力。 很多不是真正理解hadoop技术体系的...
Hadoop2.0 HA的checkpoint过程
Amber_amber的专栏
07-22 7307
hdfs将文件系统的元数据信息存放在fsimage和一系列的edits文件中。在启动HDFS集群时，系统会先加载fsimage，然后逐个执行所有Edits文件中的每一条操作，来获取完整的文件系统元数据。 Edits & fsimage文件 HDFS的存储元数据是由fsimage和edits文件组成。fsimage存放上次checkpoint生成的文件系统元数据，Edits存放文件系统操
flink checkpoint hdfs
03-14
Flink Checkpoint HDFS 是指 Flink 在进行流式计算时，将数据进行快照备份的机制，并将备份数据存储在 HDFS 上。这样可以保证在出现故障时，可以快速恢复数据，保证计算的正确性和连续性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值