hdfs架构理解

HDFS组成架构

• 1）Client：就是客户端。
  （1）文件切分。文件上传 HDFS 的时候，Client 将文件切分成一个一个的Block，然后进行存储。
  （2）与NameNode交互，获取文件的位置信息。
  （3）与DataNode交互，读取或者写入数据。
  （4）Client提供一些命令来管理HDFS，比如启动或者关闭HDFS。
  （5）Client可以通过一些命令来访问HDFS。
• 2）NameNode：就是Master，它是一个主管、管理者。
  （1）管理HDFS的名称空间。
  （2）管理数据块（Block）映射信息
  （3）配置副本策略
  （4）处理客户端读写请求。
• 3）DataNode：就是Slave，NameNode下达命令，DataNode执行实际的操作。
  （1）存储实际的数据块。
  （2）执行数据块的读/写操作。
• 4）Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。
  （1）辅助NameNode，分担其工作量。
  （2）定期合并Fsimage和Edits，并推送给NameNode。