分布式文件系统：HDFS（5）

六、HDFS

HDFS是Hadoop生态系统中的基础构件--文件系统。它的设计与与GFS类似：文件系统的元数据与文件内容数据分开存储。文件系统的可用性通过复制，而不是依靠RAID来实现的。

1. 特点

HDFS就有如下特点：

• 文件操作接口尽量与Unix系统保持一致
• NameNode存储元数据包括文件层次关系，文件块的位置等。
• DataNode存储文件内容数据。文件数据被划分为大小为64MB（可以调节）文件块，文件块被复制到不同的DataNode上，以提高系统可用性。
• 采用单写多读Single-writer, multiple-reader模型。
  HDFS客户端在写某个文件的时候，它会得到一个令牌。当客户端关闭这个文件的时候，令牌被收回。这个令牌有一个存活时限。这样HDFS可以保证一个客户端在获得令牌后，不会因崩溃而导致令牌被长久持有。

2. NameNode

NameNode负责维护HDFS的名字空间namespace。在HDFS格式化的时候，一个名字空间ID会分配给它，并且这个ID会保存在这个HDFS集群中所有的Node中，包括NameNode和DataNode。

HDFS把整个文件系统的名字空间保存在内存中。如此HDFS可以快速定位文件块的位置，对更新和增加文件块请求提供服务。

但是这个方式有一个问题，如果NameNode崩溃，它所作的修改将有可能丢失。准确的说，在最后一次写磁盘后所作的修改将会丢失。为了重建这个名字空间，NameNode在启动后需要跟所有DataNode通信获取所有关于文件块的信息。为了加快这一过程，NameNode提供检查点和日志。通过最新的检查点和日志，NameNode可以快速重建内存中的名字空间。

同时&#x