HDFS上传与下载文件数据流

HDFS上传与下载文件数据流

上传文件数据流

图示：

上传第一个block

上传第二个block

详解：

1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在，检查权限。
2）NameNode返回是否可以上传。
3）客户端请求第一个Block上传到哪几个DataNode服务器上。
4）NameNode返回1个list，包含3个DataNode节点，分别为DN1、DN2、DN3。(DataNode节点节点选择：DN1为距离客户端网络拓扑距离最近的节点，DN2为与DN1同一机架上的另一节点，DN3为不同机架上的另一节点)
5）客户端通过FSDataOutputStream模块请求向DN1上传数据，DN1收到请求会继续调用DN2，然后DN2调用DN3，依次建立通信管道。
6）DN1、DN2、dDN3逐级应答客户端。
7）客户端开始往DN1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet(默认64kb)为单位，DN1收到一个Packet就会传给DN2，DN2传给DN3。
8）当一个Block传输完成之后，每个DataNode会返回确认信息，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-8步）。
9）所有block上传完成后，Datanode通过心跳向Namenode发送block元数据信息。

下载文件数据流

图示：

详解：
1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
2）挑选一台DataNode（先就近原则，然后随机）服务器，请求读取数据。
3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。