HDFS的组件:
Client,NameNode,Seconday NameNode,DataNote
HDFS的架构图:
图片截取来源:Hadoop技术内幕:深入解析MapReduce架构设计与实现原理
HDFS的组件流程详解:
Client:通过与NameNode和DataNode交互访问HDFS文件,POSIX系统接口提供给用户。
NameNode:负责HDFS的目录树与元数据信息;元数据信息已fsimage 和editlog存储在本地磁盘,NameNode负责监控各个DataNode的健康状态,一旦发现某个DataNode宕机,则移除该DataNode并重新备份当前节点中的数据。
Secondary Namenode:定期合并fsimage和edits日志并传输给NameNode。
DataNode:负责实际的数据存储,定期汇报给NameNode,已Block为单位,默认64M。