1.文件上传的流程
1)客户端向namenode发送文件上传的请求
2)namenode会进行一系列的检查:
- 父目录是否存在
- 文件是否已经上传
- 是否有文件上传权限等
- 如果检查没问题,则会发送允许上传的响应
3)客户端发送真正的上传请求 包含重要的信息 文件的大小(或长度)
4)namenode会向客户端返回上传文件的节点。
- 根据文件的大小进行计算返回的节点数的206/128M=2 2*副本3=6个节点
- 返回哪些节点?:
- 根据距离和空间
- 先返回客户端所在机器节点>>>>同机架的节点>>>>>不同机架的节点
5)客户端开始准备上传
6)客户端对数据进行逻辑切块
7)客户端开始上传第一个数据块
8)客户端构建第一个数据块的pipline
- 客户端—-》hadoop01——>hadoop02——》hadoop03扩散
- 同时会开启一个阻塞服务,这个服务的作用
- 1)用于检测上传的文件是否和原文件一样
- 2)等待客户端上传成功的响应
9)客户端开始进行真正的数据上传,最终上传成功之后,给客户端响应
10)关闭当前的pipline
11)开始进行第二个块的上传,步骤重复 8,9,10
12)所有的块都上传成功之后 回向namenode响应