hdfs100问

---

title: hdfs100问
tags:
grammar_cjkRuby: true

1.hdfs架构

　　和zookeeper的写流程的管理手段非常像，都是作为分布式存储的，二级结构。

2.namenode格式化是什么 为什么要进行

格式化就是相当于格式化磁盘一样，清楚索引块信息，重新使用hdfs物理存储。

3.namenode宕机数据恢复

通常来说一些比较大的文件（例如10T），都会分布式地存储在多个服务器的磁盘中去，文件的元数据都会保存在NameNode中去，文件的访问修改时间，文件的副本个数，以及block大小以及组成文件的block信息，文件的内容保存在DataNode中。为了能够在启动时快速加载这些文件信息（元数据），这些信息都会保存在内存中去。但是只要namenode所在的服务器关机，这些信息就会马上丢失，所以就有了两种方式在NameNode本地持久化：命名空间镜像文件（fsimage）和编辑日志（edits log）。

VERSION文件是一个Java的属性文件

namespaceID是该文件系统的唯一标志符，当NameNode第一次格式化的时候生成。

clusterID是HDFS集群使用的一个唯一标志符，在HDFS联邦的情况下，就看出它的作用了，因为联邦情况下，集群有多个命名空间，不同的命名空间由不同的NameNode管理。

blockpoolID是block池的唯一标志符，一个NameNode管理一个命名空间，该命名空间中的所有文件存储的block都在block池中。

edits表示edits log日志文件

fsimage表示文件系统元数据镜像文件

3.0Fsimage和edits概念

3.1edits文件如何防止事务丢失／secondnamenode如何加速数据恢复

edits log在磁盘上表现为一定数量的文件。每个文件称为片段（Segment），前缀“edits”，后缀是其中包含的事务ID（transaction IDs）。每个写操作事务都仅仅打开一个文件（比如：edits_inprogress_00000000000010），写完后冲刷缓冲区并同步到磁盘，然后返回客户端success状态码。如果NameNode的元数据需要写到多个目录中，则对于每个写事务需要所有的写操作都完成</