简述Hadoop中读写数据流程、NameNode、Seconday以及DataNode工作机制

分布式文件系统HDFS（Distributed File System）是大数据生态组件Hadoop的一个重要组成部分。它是一个具有高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

HDFS写数据流程

HDFS写数据流程（图）

简述：

1. 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在；
2. NameNode返回是否可以上传；
3. 客户端向NameNode请求上传文件的第一个 Block到服务器上；
4. NameNode返回DataNode节点信息；
5. 在副本数为3的情况下，客户端通过FSDataOutputStream模块请求与dn1建立通信管道，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成；
6. dn1、dn2、dn3逐级应答客户端；
7. 客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答；
8. 当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。

HDFS读数据流程

简述：

1. 客户端通过DFS向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址；
2. 挑选一台DataNode（读第一个块采用就近原则，之后随机选择DN读数据）服务器，请求读取数据；
3. DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）；
4. 客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

NN和2NN工作流程

简述：
NN阶段：

1. 第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
2. 若客户端对元数据进行增删改的请求或触发checkpoint，NameNode记录操作日志，更新滚动日志。
3. NameNode在内存中对元数据进行增删改。

2NN阶段：
4. Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。

5. Secondary NameNode请求执行CheckPoint。

6. NameNode滚动正在写的Edits日志。

7. 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

8. Secondary NameNode加载编辑日志和镜像文件到内存，并合并。

9. 生成新的镜像文件fsimage.chkpoint。

10. 拷贝fsimage.chkpoint到NameNode。

11. NameNode将fsimage.chkpoint重新命名成fsimage。

DN工作流程

简述：

1. 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2. DataNode启动后向NameNode注册自己，通过后，周期性（1小时）的向NameNode上报所有的块信息。

3. 心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令，如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。

4. 集群运行中可以安全加入和退出一些机器。

颜色搭配对我来讲真是要了亲命了，感觉怎么搭配都好丑啊。。。