Hadoop文件系统元数据fsimage和编辑日志edits

转载 2015年11月19日 17:56:13


转自: http://www.iteblog.com/archives/968




NameNode的$dfs.namenode.name.dir/current/文件夹的几个文件:

1 current/
2 |-- VERSION
3 |-- edits_*
4 |-- fsimage_0000000000008547077
5 |-- fsimage_0000000000008547077.md5
6 `-- seen_txid

  其中存在大量的以edits开头的文件和少量的以fsimage开头的文件。那么这两种文件到底是什么,有什么用?下面对这两中类型的文件进行详解。在进入下面的主题之前先来搞清楚edits和fsimage文件的概念:
  (1)、fsimage文件其实是Hadoop文件系统元数据的一个永久性的检查点,其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息;
  (2)、edits文件存放的是Hadoop文件系统的所有更新操作的路径,文件系统客户端执行的所以写操作首先会被记录到edits文件中。
  
  fsimage和edits文件都是经过序列化的,在NameNode启动的时候,它会将fsimage文件中的内容加载到内存中,之后再执行edits文件中的各项操作,使得内存中的元数据和实际的同步,存在内存中的元数据支持客户端的读操作。

  NameNode起来之后,HDFS中的更新操作会重新写到edits文件中,因为fsimage文件一般都很大(GB级别的很常见),如果所有的更新操作都往fsimage文件中添加,这样会导致系统运行的十分缓慢,但是如果往edits文件里面写就不会这样,每次执行写操作之后,且在向客户端发送成功代码之前,edits文件都需要同步更新。如果一个文件比较大,使得写操作需要向多台机器进行操作,只有当所有的写操作都执行完成之后,写操作才会返回成功,这样的好处是任何的操作都不会因为机器的故障而导致元数据的不同步。

  fsimage包含Hadoop文件系统中的所有目录和文件idnode的序列化信息;对于文件来说,包含的信息有修改时间、访问时间、块大小和组成一个文件块信息等;而对于目录来说,包含的信息主要有修改时间、访问控制权限等信息。fsimage并不包含DataNode的信息,而是包含DataNode上块的映射信息,并存放到内存中,当一个新的DataNode加入到集群中,DataNode都会向NameNode提供块的信息,而NameNode会定期的“索取”块的信息,以使得NameNode拥有最新的块映射。因为fsimage包含Hadoop文件系统中的所有目录和文件idnode的序列化信息,所以如果fsimage丢失或者损坏了,那么即使DataNode上有块的数据,但是我们没有文件到块的映射关系,我们也无法用DataNode上的数据!所以定期及时的备份fsimage和edits文件非常重要!

  在前面我们也提到,文件系统客户端执行的所以写操作首先会被记录到edits文件中,那么久而久之,edits会非常的大,而NameNode在重启的时候需要执行edits文件中的各项操作,那么这样会导致NameNode启动的时候非常长!在下篇文章中我会谈到在Hadoop 1.x版本和Hadoop 2.x版本是怎么处理edits文件和fsimage文件的。



相关文章推荐

Hadoop文件系统元数据fsimage和编辑日志edits

转自:http://www.iteblog.com/archives/968   在《Hadoop NameNode元数据相关文件目录解析》文章中提到NameNode的$dfs.nameno...

Hadoop中的fsimage和edits log编辑日志

转载请注明出处: 【http://datasearch.ruc.edu.cn/~boliangfeng/blog】,谢谢。 在hadoopor论坛里看到这样的问题,这里做个回答。 ...

hadoop之fsimage和edits工作机制和元数据namenode宕机恢复

hadoop之fsimage和edits工作机制和元数据namenode宕机恢复

Hadoop NameNode的元数据持久化存储FSImage和日志存储EditLog源代码分析

HDFS NameNode High Availability中一个关键的问题就是Editlog如何保存,怎么才能保证在Active和Standby的NameNode切换时Editlog不丢失记录,也...
  • lskyne
  • lskyne
  • 2013年04月24日 10:25
  • 5230

Hadoop文件系统元数据的持久化

Namenode上保存着HDFS的名字空间。对于任何对文件系统元数据产生修改的操作,Namenode都会使用一种称为EditLog的事务日志记录下来。例如,在HDFS中创建一个文件,Namenode就...
  • mndscc
  • mndscc
  • 2015年12月15日 20:32
  • 421

浅谈hadoop(五)——hadoop简介 文件系统元数据的持久化

浅谈hadoop(五)——hadoop简介 本文翻译素材来自hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/ha...

Hadoop深入学习:HDFS主要流程——SNN合并fsimage和编辑日志

本节我们主要写Secondary NameNode是如何合并命名空间文件和编辑日志文件。         客户端对HDFS的文件系统目录树进行的任何修改,都会被记录到编辑日志(edits)文件中,以保...

Hadoop 2.x中fsimage和edits合并实现

在《Hadoop 1.x中fsimage和edits合并实现》文章中,我们谈到了Hadoop 1.x上的fsimage和edits合并实现,里面也提到了Hadoop 2.x版本的fsimage...

Hadoop-2.4.1学习之创建fsimage和edits源码分析

在Hadoop中fsimage保存最新的检查点信息,edits保存自最新检查点后的命名空间的变化。在分析hdfs namenode–format的源代码时,已经明确了该过程根据配置文件的信息创建fsi...

Hadoop中的fsimage和edits(能力工场--Hadoop)

在hadoopor论坛里看到这样的问题,这里做个回答。 我有一个疑问,在namenode的内存中记录了fsimsage信息, 但是内存中的fsimage元数据是在namemode启动时去合并本地的...
  • malipku
  • malipku
  • 2013年08月15日 23:39
  • 404
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop文件系统元数据fsimage和编辑日志edits
举报原因:
原因补充:

(最多只允许输入30个字)