HDFS架构和组成

HDFS架构和组成

Hdfs 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成NameNode， DataNode，client，和SencondayNameNode组成

• NameNode(Master)：
  • 1. 管理 HDFS 的命名空间，维护元数据。
  • 2. 接收客户端的请求。
  • 3. 管理数据块（Block）映射信息.
  • 4. 配置副本策略
• DataNode(Slave)：
  • 1. 存储实际的数据块 。
  • 2. 执行数据块的读/写操作。
  • 3. 向namenode上传心跳信息。
• Client(客户端)：
  • 1、文件上传 HDFS 的时候，Client 将文件切分成Block，然后进行存储。
  • 2、与 NameNode 交互，获取文件的位置信息。
  • 3、与 DataNode 交互，读取或者写入数据。
  • 4、Client 提供一些命令来管理 HDFS，比如启动或者关闭HDFS。
• SencondayNameNode(辅助工作者)：
  • 1、辅助 NameNode，分担其工作量。
  • 2、定期合并 fsimage和fsedits，并推送给NameNode。
  • 3、在紧急情况下，可辅助恢复 NameNode。

公众号：大数据面试宝典 修改简历，面试辅导，回复888领取面试宝典资料