hadoop知识之fsimage和editlog

转载 2015年07月10日 09:52:41

fsimage:filesystem image 的简写,文件镜像。

客户端修改文件时候,先写到editlog,成功后才更新内存中的metadata信息。

只有当对文件操作成功的时候,才会写到editlog。

fsimage是文件meta信息的持久化的检查点。



当namenode失败的时候,

文件metadata信息可以通过:加载fsimage文件到内存中,在editlog中应用相应的操作。

(这一操作也是namenode刚启动要干的事情。)


fsimage文件中包含文件metadata信息,不包含文件块位置的信息。

namenode把文件块位置信息存储在内存中,这些位置信息是,在 datanode加入集群的时候,

namenode询问datanode得到的,并且间断的更新。


As described, the edits file would grow without bound. Though this state of affairs
would have no impact on the system while the namenode is running, if the namenode
were restarted, it would take a long time to apply each of the operations in its (very
long) edit log. During this time, the filesystem would be offline, which is generally
undesirable.

The solution is to run the secondary namenode, whose purpose is to produce checkpoints
of the primary’s in-memory filesystem metadata


fsimage与editlog的旅行

图片

 

两个属性配置checkpoint

fs.checkpoint.period in seconds

fs.checkpoint.size in bytes, which it checks
every five minutes.


safe mode下也可以手动,

命令: hadoop dfsadmin -saveNamespace

(3)hadoop学习——namenode的fsimage与editlog详解

Namenode主要维护两个文件,一个是fsimage,一个是editlog。 fsimage保存了最新的元数据检查点,包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信...
  • chenKFKevin
  • chenKFKevin
  • 2017年03月10日 14:15
  • 2362

Hadoop FSImage文件初始结构

Namenode格式化后,会生成FSImage文件,位于dfs.name.dir参数指定目录的current目录中,记录了最初文件系统元数据的信息,随着系统运行,系统文件会越来越多,如果我们有一个要统...
  • lihm0_1
  • lihm0_1
  • 2013年08月17日 15:56
  • 1666

HDFS源码分析之FSImage文件内容(一)总体格式

FSImage文件是HDFS中名字节点NameNode上文件/目录元数据在特定某一时刻的持久化存储文件。它的作用不言而喻,在HA出现之前,NameNode因为各种原因宕机后,若要恢复或在其他机器上重启...
  • lipeng_bigdata
  • lipeng_bigdata
  • 2016年04月29日 10:03
  • 8937

【总结】Hadoop文件系统元数据fsimage和编辑日志edits

原文:https://www.iteblog.com/archives/968.html   https://www.iteblog.com/archives/969.html  https://ww...
  • dengxing1234
  • dengxing1234
  • 2017年03月09日 10:18
  • 22466

Hadoop NameNode的元数据持久化存储FSImage和日志存储EditLog源代码分析

HDFS NameNode High Availability中一个关键的问题就是Editlog如何保存,怎么才能保证在Active和Standby的NameNode切换时Editlog不丢失记录,也...
  • lskyne
  • lskyne
  • 2013年04月24日 10:25
  • 5353

HDFS源码分析EditLog之获取编辑日志输入流

在《HDFS源码分析之EditLogTailer》一文中,我们详细了解了编辑日志跟踪器EditLogTailer的实现,介绍了其内部编辑日志追踪线程EditLogTailerThread的实现,及其线...
  • lipeng_bigdata
  • lipeng_bigdata
  • 2016年04月12日 11:01
  • 4181

hadoop之fsimage和edits工作机制和元数据namenode宕机恢复

hadoop之fsimage和edits工作机制和元数据namenode宕机恢复
  • willwill101
  • willwill101
  • 2016年09月29日 14:30
  • 1219

namenode无法启动

玩得真心累。。。刚刚解决了上个问题,结果又出现这个问题 主节点上得namenode无法启动,从节点正常 错误日志: 2015-09-21 17:38:...
  • sinat_19687693
  • sinat_19687693
  • 2015年09月21日 12:33
  • 1311

Hadoop深入学习:HDFS主要流程——SNN合并fsimage和编辑日志

本节我们主要写Secondary NameNode是如何合并命名空间文件和编辑日志文件。         客户端对HDFS的文件系统目录树进行的任何修改,都会被记录到编辑日志(edits)文件中,以保...
  • x_i_y_u_e
  • x_i_y_u_e
  • 2016年09月04日 10:45
  • 877

浅谈hadoop(五)——hadoop简介 文件系统元数据的持久化

浅谈hadoop(五)——hadoop简介 本文翻译素材来自hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/ha...
  • wild46cat
  • wild46cat
  • 2016年11月30日 17:33
  • 364
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop知识之fsimage和editlog
举报原因:
原因补充:

(最多只允许输入30个字)