大数据 | HDFS 元数据持久化笔记

目录

一、HDFS 架构简单介绍

二、角色功能

三、常用的持久化方案

四、HDFS 元数据的持久化

五、Secondary NameNode 的引入

六、总结

---

 

一、HDFS 架构简单介绍

        HDFS 是一个主从（Master/Slaves）的架构，它由一个 NameNode 和一些 DataNode 组成。其中，NameNode 是主，DataNode 是从。文件元数据由 NameNode 负责存储和管理，且它维护了一个层次型的文件目录树；文件的数据由 DataNode 来按照 block 进行存储，并按照 block 进行读写。DataNode 与 NameNode 通过心跳来维持，DataNode 会向 NameNode 汇报自己持有的 block 信息。当客户端和 NameNode 交互文件元数据，和 DataNode 交互 block 数据。

二、角色功能

        从 HDFS 的架构来看，它包含两个重要的角色，分别是 NameNode 和 DataNode。其中，NameNode 完全基于内存存储文件元数据、目录结构、文件 block 的映射，因此，它需要持久化方案来保证数据的可靠性；DataNode 基于磁盘存储 block，并保存了 block 的校验，从而保证