大数据学习之hadoop——09一次完整的edits、fsimage、edits_inprogress、chkpoint、NameNode运行原理分析

最新推荐文章于 2022-03-04 19:02:52 发布
最新推荐文章于 2022-03-04 19:02:52 发布
阅读量1.4k 收藏 5
点赞数 1
分类专栏： 大数据学习之hadoop 文章标签： hdfs hadoop java 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nothair/article/details/105002457
版权
本文详细分析了Hadoop HDFS中NameNode的edits、fsimage、edits_inprogress文件的管理及合并原理。通过一系列操作和集群状态观察，解释了安全模式、SecondaryNameNode的角色以及手动合并可能导致的数据丢失问题，强调正确操作以避免数据不一致。
摘要由CSDN通过智能技术生成

分析edits、fsimage、edits_inprogress、文件系统元数据维持原理，这一篇文章就够了~

本文较长的日志分析，运行分析，请耐心观看，仔细观看每一张图片中的文件后缀名

截图较小，请放大网页观看，快捷键ctrl＋鼠标滚轮缩放网页大小

格式化集群，启动集群
此时的文件状态
在这里插入图片描述
执行了-put和-ls操作后关闭集群
此时的文件状态
在这里插入图片描述
再次开启集群时文件状态
在这里插入图片描述
现在执行一次滚动操作
在这里插入图片描述
现在的文件状态
在这里插入图片描述
效果不太明显 再传一份文件上去

最低0.47元/天 解锁文章
上苍保佑吃饱饭的人们
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hdfs的原子性_HDFS中的哪些文件系统操作是原子的？
cuma2369的博客
07-24 709
hdfs的原子性Atomicity is a very important and fundamental property aspect of filesystems. Applications semantics and many functions depend on and only be available based on the atomicity models of the und...
Edits和Fsimage文件
qq_36250202的博客
07-11 1337
知识点 1.当执行格式化指令时，会在指定的tmp目录下，生成dfs/name目录。 此目录是namenode服务器存储元数据的目录 2.当格式化后，启动HFDS前，会生成一个最初的fsimage_0000000000000000000文件 3.在 dfs/data目录，这是datanode节点存储数据块的目录。 4.元数据的存储目录和数据节点的目录的路径可以分开指定 5.在dfs/na...
HDFS.
孤鸿的博客
03-04 1711
基本概念 Block 1.Block是HDFS中数据存储的基本形式,即在HDFS中,所有数据都是以Block形式来存储 2.从Hadoop2.x开始,如果不指定,那么Block的默认大小是134217728B(128M)。可以通过dfs.blocksize来修改,单位是字节 3.如果一个文件不足一个Block的默认大小,那么这个文件是多大,所对应的Block就是多大。例如一个文件是50M,上传到HDFS上之后对应的Block就是50M 4.HDFS会为每一个Block分配一个递增的编号,称之为BlockId
Namenode处于安全模式时，对hadoop进行查看操作，edits_inprogress_txid中没有事物事件的增加，txid没有增加？
长安一片月的博客
06-07 1024
1.      问题：Namenode处于安全模式时，对hadoop进行查看操作，edits_inprogress_txid中没有事物事件的增加，txid没有增加？答案：Namenode处于安全模式时，对hadoop不能进行创建、修改，可以对其进行查看，我的理解是因为处于安全模式，一般是为fsimage_镜像文件和edits_***-***操作文件进行整合新的镜像文件做准备，合成新的fsimage...
Hadoop-2.X HA模式下的FSImage和EditsLog合并过程
weixin_30362083的博客
06-15 442
　　最近遇到集群HDFS启动缓慢的问题，集群为Hadoop-2.5.0版本，做了HDFS的HA。在某次故障后重启HDFS集群，发现启动超慢，积累了100多个EditsLog，整个启动过程持续了近六个小时。为了总结这次的经验教训，补充了一下NameNode启动过程中有关FSImage与EditsLog的相关知识。 一、什么是FSImage和EditsLog 　　我们知道HDF...
大数据之Hadoop学习教程+笔记合计_超详细完整.zip
01-07
大数据之Hadoop学习教程+笔记合计_超详细完整.zip
Hadoop数据分析_大数据_hadoop_数据分析_
10-01
在大数据的世界里，Hadoop是不可或缺的一个核心组件，它为海量数据处理提供了高效、可靠的解决方案。本主题将深入探讨Hadoop在数据分析中的应用及其生态系统的关键技术。 首先，我们需要理解“大数据”的概念。...
完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 09 Hive 共36页.pptx
09-05
大数据和云计算领域中的一个重要组成部分是Hadoop数据分析平台，这个课程旨在帮助学习者掌握Hadoop的核心技术，并能够独立完成相关任务。Hadoop是分布式存储和处理大规模数据集的开源框架，它包括了HDFS（Hadoop ...
大数据技术分享 Hadoop运行原理分析 共3页.pdf
最新发布
07-20
### 大数据技术分享：Hadoop运行原理分析 #### 一、概论 Hadoop作为一个开源框架，主要用于处理大规模的数据集。它通过提供一个高效、可靠、可扩展的基础架构来支持分布式数据处理任务。Hadoop的核心组件包括HDFS...
大数据技术之Hadoop3.x-视频教程网盘链接提取码下载 .txt
03-04
Hadoop是大数据技术中最重要的框架之一，是学习大数据必备的第一课，在Hadoop平台之上，可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级！以企业实际生产环境为背景，增加了更...
Hadoop系列三：运行job过程日志
BIT工匠
11-19 5877
[bruce@iRobot hadoop]$ $HADOOP_PREFIX/bin/hdfs dfs -mkdir /user [bruce@iRobot hadoop]$ $HADOOP_PREFIX/bin/hdfs dfs -mkdir /user/bruce [bruce@iRobot hadoop]$ tail -f logs/*-namenode*.log 2015-11-19
镜像文件(fsimage)和编辑日志(Edits)介绍
一亩三分地
02-03 9919
一、查看日志镜像文件内容 1）镜像文件的作用 通过查看上面的xml文件,可以知道镜像文件实际是存放的目录结构、文件属性等相关信息。另外也可以看到MD5校验文件，这个文件主要是用来判断镜像文件是否发生修改。fsimage文件是NameNode中关于元数据的镜像，一般称为检查点，它是在NameNode启动时对整个文件系统的快照。 fsimage文件是hadoop文件系统元数据的一个...
namenode的edits_fsimage关系
后知后觉的it路
11-22 283
    name table = fsimage ,  存放namonode中所有数据，运行时数据加载到内存中存放edits_inprogress 类似于LSM树中的Log，在向hdfs写的过程都向此文件存放，                 当存的数据到一定程度/或者定期间隔多久，会把此文件内容跟新到fsimage     刚开始写数据时会同时向namonode内存和edit中写，   ...
Hadoop基础-镜像文件（fsimage）和编辑日志（edits）
weixin_33971977的博客
05-27 439
　　　　　　　　　　　　　Hadoop基础-镜像文件（fsimage）和编辑日志（edits） 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。       一.查看日志镜像文件（如：fsimage_0000000000000000767）内容 1>.镜像文件的作用 　　通过查看上面的XML文件，...
如何恢复在HDFS中删除的文件
hotbigdata的博客
04-20 5529
       在大数据平台中，hdfs里面如果误删除文件后，我们需要对文件进行恢复，但是如果没有做相关配置，或者预先做设置，则会导致灾难性的后果，o(╥﹏╥)o       我们可以通过下面几种方式来恢复误删除文件：       在垃圾回收站中恢复：hdfs中提供类似其他文件系统中的垃圾回收站的功能，被删除的文件会被移动到该回收站中，也就是有的同学想要腾出空间，使用了hadoop fs -rmr ...
FSImage和EditsLog合并过程
METON的博客
09-03 1583
HDFS是一个分布式文件存储系统，文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息（metadata）由NameNode节点来处理。随着存储文件的增多，NameNode上存储的信息也会越来越多。那么HDFS是如何及时更新这些metadata的呢？  　　 在HDFS中主要是通过两个组件FSImage和EditsLog来实现metadata的
Hdfs写入读取，编辑日志（edits）与镜像文件
xiaoyaGrace的博客
11-29 911
1.Hdfs写入 Hdfs写入的体系结构 代码： @Test public void putFile() throws Exception{ Configuration conf = new Configuration(); conf.set("fs.defaultFS", "h...
Hadoop技术
wr_java的博客
07-31 253
Hadoop简介 Hadoop 的思想之源：Google 第一遇到大数据计算问题的公司 Openstack :NASA 面对的数据和计算难题 - 大量的网页怎么存储 - 搜索算法 带给我们的关键技术和思想（Google三大理论） - GFS 文件存储 - Map-Reduce 计算 - Bigtable 创始人：Doug cutting Hadoop简介：http://hadoop.apache.org 分布式存储系统HDFS （Hadoop Distributed File System .
大数据学习之路：从Java到Hadoop环境搭建
通过这份文档，学习者将获得一个全面的大数据学习路径，从基础的编程语言到复杂的集群环境搭建，为深入研究大数据分析和处理打下坚实的基础。对于那些希望通过实践来深化理论知识的人来说，这份资料提供了一条清晰的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值