HDFS的数据流

1、HDFS写数据流程

HDFS写数据流程，如图所示:

（1）client（客户端）向hdfs上传文件，首先向NameNode请求上传文件，NameNode会做一些验证，比如检查目标文件是否已存在，父目录是否存在。
（2）NameNode经过验证后，向客户端返回是否可以上传。
（3）如果客户端收到可以上传的回复，则会向namenode请求第一个 block上传到哪几个datanode服务器上。
（4）NameNode返回客户端可用的3个datanode的节点地址，分别为datanode1、datanode2、datanode3。
（5）客户端通过FSDataOutputStream模块请求datanode1上传数据，datanode1收到请求会继续调用datanode2，然后datanode2调用datanode3，将这个通信管道建立完成。
（6）datanode1、datanode2、datanode3逐级应答客户端。
（7）客户端开始往datanode1上传第一个block，以packet为单位，datanode1收到一个packet不仅后存储到本地磁盘还会将该packet复制一份传给datanode2，datanode2传给datanode3；
（8）当一个block传输完成之后，客户端再次请求NameNode上传第二个block的服务器。（重复执行3-7步）。

2、HDFS读数据流程

HDFS的读数据流程，如图所示:

（1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
（2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
（3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以packet为单位来做校验）。
（4）客户端以packet为单位接收，先在本地缓存，然后写入目标文件。
客户端将所有的块下载下来之后，在本地将所有的块拼接成一个文件。