Hadoop HDFS源码学习之NameNode部分

NameNode源码学习

---

---

Java、大数据开发学习要点（持续更新中…）

---

一、文件系统目录树(第一关系)

  NameNode最重要的两个功能之一是维护文件系统的命名空间。HDFS文件系统命名空间在NameNode内存中是以一颗树的结构来存储的。无论是目录还是文件，在目录树中被看作一个INode节点。目录对应INodeDirectory类和文件对应的INodeFile类都是INode抽象类的具体实现类，区别在于目录类中有个成员变量children保存其子目录或文件的INode引用，而文件类则保存header字段(数据副本与block大小信息)和blocks字段(BlockInfo数组，保存文件与block、block与DN的对应关系)。

  HDFS会将命名空间保存到NameNode本地文件系统中的fsimage(命名空间镜像) 中，每次NameNode重启都会重构HDFS命名空间(FSImage类负责)。另外，对HDFS的操作会记录在editlog(操作日志) 中，以便周期性将editlog与fsimage进行合并生成新的fsimage，editlog同样会存储在NameNode本地文件系统中(FSEditLog类管理)。

2.1 INode相关类

  借鉴Linux中的inode(索引节点)，索引节点保存文件的元信息(如文件类型、权限、文件长度等)，在索引节点的后半部分存放数据块索引。HDFS将文件和目录的抽象类命名为INode，其主要实现类在上文中已经介绍，不再赘述。

• INode抽象类实现了一些接口，定义了一些元信息的get与set方法和唯一一个字段parent。

INode类的设计采用了模板设计模式。里面的方法多为两个，其中一个是final的接口方法作为规范接口的调用不希望子类继承的；另一个是abstract的抽象方法，留给子类具体实现。这种设计模式的思想就是将不变的行为/流程/算法定义在父类中，去除子类的冗余。

//留给子类具体实现
abstract void setUser(String user);
//模板方法，final修饰，不可继承，供子类接口调用
final