HDFS的简单介绍

HDFS写数据流程

1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查元数据判断目标文件是否已经存在，父目录是否存在。
2.NameNode返回是否可以上传。
3.客户端请求第一个 block上传到哪几个DataNode服务器上。
4.NameNode返回3个DataNode节点，分别为DataNode1、DataNode2、DataNode3。
5.客户端通过FSDataOutputStream模块请求DataNode1上传数据，DataNode1收到请求会继续调用DataNode2，然后DataNode2调用DataNode3，将这个通信管道建立完成。
6.DataNode1、DataNode2、DataNode3逐级应答客户端。
7.客户端开始往DataNode1上传第一个block(以packet为单位)，DataNode1收到一个packet就会传给DataNode2，DataNode2传给DataNode3；
8.当一个block传输完成之后，客户端再次请求NameNode上传第二个block。
9.重复执行3-7步。

HDFS读数据流程

1.客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
2.就近随机挑选一台DataNode服务器，请求读取数据。
3.DataNode开始传输数据给客户端(以packet为单位来做校验)。
4.客户端以packet为单位接收，先在本地缓存，然后写入目标文件。
5.重复执行2-4步。

NameNode和SecondaryNameNode工作机制

第一阶段：NameNode启动
1.第一次启动NameNode格式化后，创建fsimage(镜像文件)和edits(编辑日志)文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
2. 客户端对元数据进行增删改的请求。
3.NameNode记录操作日志，更新滚动日志。
4.NameNode在内存中对数据进行增删改查。
第二阶段：Secondary NameNode工作
1.Secondary NameNode询问NameNode是否需要checkpoint。直接带回NameNode的结果。
2.Secondary NameNode请求执行checkpoint。
3.NameNode滚动正在写的edits日志。
4.将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
5.Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
6.生成新的镜像文件fsimage.chkpoint。
7.拷贝新的镜像文件fsimage.chkpoint到NameNode。
8.NameNode将fsimage.chkpoint重新命名成fsimage。

DataNode工作机制

1.一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
2.DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。
3.心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。