HDFS——DN的存储数据结构

【前言】

在《DN的持久化文件》一文中介绍了dn持久化文件以及对应的目录结构，那么在dn的内部实现中，又是怎样将这些数据结构串联起来的呢？文本就来介绍dn存储实现的相关内容。

【数据结构】

在讲解内部实现前，我们再回顾下dn持久化文件几个重要的点：

• dn可以配置多个目录进行数据块的存储

• 每个这样的目录中，都会有一个或多个BP目录（BlockPool，后面均简称为BP）

• 每个BP下存放各自正在写的，已经写完的block文件，以及block的meta文件

• block数据块在nn（namenode）中称为block，在dn中称为replica，叫法不同而已。

在dn的实现中，磁盘目录用卷（volume）的概念进行描述，与之对应的是FsVolumeSpi接口和FsVolumeImpl实现类。也就是说配置文件中每个指定的目录，都有一个对应的FsVolumeImpl实例对象。

FsVolume中包含一个BlockPoolSlice的字典，记录该目录下的所有BP信息，即一个BlockPoolSlice对应于一个BP。在BlockPoolSlice中，又以不同的字段分别记录了current、tmp、rbw、finalized等目录的位置。

所有的FsVolumeImpl组成一个列表，封装在FsVolumeList中。FsVolumeList内部还会根据磁盘目录的是否可用分别存放在不同的列表中。

到这里，所有的磁盘目录信息都已经串联起来了，那么关键的block信息存放在哪了呢？

所有replica的信息均由ReplicaMap进行维护，这里封装了一个map，以BlockPoolID为Key，保存该BlockPool下的所有replica数据，map表中的value也是一个map表，以BlockID为key，记录replica的详细信息。

另外，ReplicaInfo本身是一个抽象父类，不同的子类分别对应正在写的、已经写完的replica信息，这样就完整的记录了所有的block信息。

FsVolumeList与ReplicaMap封装在FsDataset中，这样就构成了DataNode中所有文件系统数据集的抽象。