HDFS Client NameNode DataNode SecondaryNamenode

HDFS
HDFS 采用Master/Slave的架构来存储数据，该架构主要由四个部分组成

HDFS Client
NameNode
DataNode
SecondaryNameNode
HDFS体系结构

HDFS体系结构

HDFS Client

文件切分，文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储
与 NameNode 交互，获取文件的位置信息
与 DataNode 交互，读取或者写入数据
Client 提供一些命令来管理 HDFS，比如启动或者关闭HDFS
Client 可以通过一些命令来访问 HDFS

NameNode

master，一个管理者，不实际存储数据
管理 HDFS 的名称空间，维护着文件系统树以及整个树的所有文件和目录(fsimage+edits)
管理数据块（Block）映射信息
配置副本策略
处理客户端读写请求

DataNode

Slave，NameNode 下达命令，DataNode 执行实际的操作
存储实际的数据块
执行数据块的读/写操作

SecondaryNameNode

辅助NameNode，分担其工作量
定期合并fsimage和edits，并推送给NameNode，紧急情况下，可辅助恢复NameNode

Fsimage和edits合并

Fsimage文件包含整个文件系统所有的文件和目录，是文件系统元数据的持久化检查点，当NameNode重启后都需载入fsimage进入内存，恢复到某个检查点，再执行检查点后的编辑日志，进行重建。

edits是编辑日志文件，记录检查点后所有文件等信息的改动

Fsimage和Edits合并过程？

1 secondarynamenode周期性通过edits文件大小，当达到合并的阈值后，Namenode停止使用 edits文件，并生成一个新的临时edits.new文件

2 secondarynamenode通过http的get方式获取namenode节点上的edits和fsimage文件

3 secondarynamenode将fsimage载入内存并逐一执行edits文件中的操作

4 执行完毕后，生成fsimages.ckpt，会向namenode发送http请求，通知namenode来获取fsimage.ckpt文件

5 NameNode更新fsimage文件中的记录检查点执行时间，改名为fsimage文件

6 edits.new文件更名为edits文件