一、分布式文件系统HDFS存储架构
1、HDFS结构与架构
HDFS结构:
NameNode是HDFS的心脏,它管理和维护着整个HDFS文件系统,主要作用有:
- 负责接收用户的操作请求;
- 负责管理文件系统命名空间(namespace)、集群配置信息以及存储块的复制等;
- 负责文件目录树的维护以及文件对应block列表的维护;
- 负责管理block与DataNode之间的关系;
在HDFS中,FsImage和Edit Log是NameNode两个非常重要的文件。他们存储在NameNode节点的本地磁盘上,这就是NameNode的元数据信息。
其中,FsImage文件用来记录数据块到文件的映射、目录或文件的结构、属性等信息,里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的信息。