浅谈HDFS

一、HDFS写数据流程

1）客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否存在，父目录是否存在，是否有写权限。
2）NameNode返回是否可以上传。
3）客户端请求上传第一个Block。
4）NameNode返回存储块的位置信息（存储节点数取决于文件的副本数）
5）客户端通过FSDataOutputStream模块请求与DataNode1建立数据传输通道，dn1收到请求会继续调用dn2，dn2调用dn3，直至通信通道建立完成。
6）dn3、dn2、dn1逐级应答客户端。
7）客户端开，始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2，传给dn3（边写边传）
8）当一个Block传输完成后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）

二、HDFS读数据流程

1）客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
2）挑选一台DataNode（就近原则）服务器，请求读取数据
3）DataNode开始传输数据给客户端（从磁盘里读取数据输入流，以Packet为单位来做校验）
4）客户端以Packet为单位接收，现在本地缓存，然后写入目标文件。

三、NN和2NN的工作机制

1. 第一阶段：NameNode启动
   1）第一次启动NameNode格式化之后，会产生Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
   2）客户端对元数据进行增删改请求。
   3）NameNode记录操作日志，更新滚动日志。
   4）NameNode在内存中对元数据进行增删改。
2. 第二阶段：SecondaryNameNode工作
   1）SecondaryNameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
   2）SecondaryNameNode请求执行CheckPoint。
   3）NameNode滚动正在写的Edits日志。
   4）将滚动前的编辑日志和镜像文件拷贝到SecondaryNameNode。
   5）SecondaryNameNode加载编辑日志和镜像文件到内存，并合并。
   6）生成新的镜像文件fsimage.chkpoint。
   7）拷贝fsimage.chkpoint到NameNode。
   8）NameNode将fsimage.chkpoint重命名成fsimage。

四、DataNode工作机制

1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包裹数据块的长度，块数据的校验和，以及时间戳。
2）DataNode启动后向NameNode注册，通过后，周期性（1小时）向NameNode上报所有的块信息。
3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。（默认超时时长10分钟+30秒）