- 架构
如上图所示,HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。
NameNode:是Master节点,是大领导。管理数据块映射;处理客户端的读写请求;配置副本策略;管理HDFS的名称空间;
SecondaryNameNode:是一个小弟,分担大哥namenode的一部分工作量;是NameNode的冷备份;合并fsimage和fsedits然后再发给namenode。
DataNode:Slave节点,奴隶,干活的。负责存储client发来的数据块block;执行数据块的读写操作。
热备份:b是a的热备份,如果a坏掉。那么b马上运行代替a的工作。
冷备份:b是a的冷备份,如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息,减少a坏掉之后的损失。
fsimage:元数据镜像文件(文件系统的目录树。)
edits:元数据的操作日志(针对文件系统做的修改操作记录)
namenode内存中存储的是=fsimage+edits。
SecondaryNameNode负责定时默认1小时,从namenode上,获取fsimage和edits来进行合并,然后再发送给namenode。减少namenode的工作量。 - 原理
2.1工作机制
NameNode 负责管理
分布式文件存储系统架构和原理
最新推荐文章于 2024-07-30 15:27:52 发布
本文详细介绍了HDFS的架构,包括NameNode、SecondaryNameNode和DataNode的角色和职责。NameNode作为主节点负责元数据管理和客户端请求处理,SecondaryNameNode辅助NameNode进行元数据备份,而DataNode则存储实际数据。文章还阐述了HDFS的工作机制,如读写流程,以及数据存储策略,确保数据的安全和高效。
摘要由CSDN通过智能技术生成