hdfs文件上传及下载的流程

1.文件上传的流程

1）客户端向namenode发送文件上传的请求

2）namenode会进行一系列的检查：

- 父目录是否存在

- 文件是否已经上传

- 是否有文件上传权限等

- 如果检查没问题，则会发送允许上传的响应

3）客户端发送真正的上传请求 包含重要的信息 文件的大小（或长度）

4）namenode会向客户端返回上传文件的节点。

- 根据文件的大小进行计算返回的节点数的206/128M=2 2*副本3=6个节点

- 返回哪些节点？：

- 根据距离和空间

- 先返回客户端所在机器节点>>>>同机架的节点>>>>>不同机架的节点

5)客户端开始准备上传

6）客户端对数据进行逻辑切块

7）客户端开始上传第一个数据块

8）客户端构建第一个数据块的pipline

- 客户端—-》hadoop01——>hadoop02——》hadoop03扩散

- 同时会开启一个阻塞服务，这个服务的作用

- 1）用于检测上传的文件是否和原文件一样

- 2）等待客户端上传成功的响应

9）客户端开始进行真正的数据上传，最终上传成功之后，给客户端响应

10）关闭当前的pipline

11）开始进行第二个块的上传，步骤重复 8,9,10

12）所有的块都上传成功之后 回向namenode响应