ＨＤＦＳ的两大核心(上传、下载）

ＨＤＦＳ的两大核心

文件上传过程示意图：

具体步骤：
1.客户端向namenode发送文件上传的请求
2.namenode进行一系列的检查 权限 文件的父目录
是否存在；文件是否已经存在或同名等，检查通过
则允许上传
3.允许客户端上传
4.客户端发送真正的文件上传请求
请求包括一个重要信息 文件的长度、大小
5.namenode根据文件的长度计算文件的切块个数
文件大小：200M/128M=2
获取副本的配置信息dfs.replication=3
返回副本的节点信息的时候 原则：就近原则 客户端所在节点 同机架 不同机架
6.客户端准备文件上传
7.客户端对文件进行一个逻辑切块
8.开始上传第一个数据块
9.构建第一个数据块的上传通道pipline
构建通道的时候 客户端启动一个阻塞进程 等待启动DataNode的响应
10.开始第一个数据块的数据上传
11.第一个数据块上传成功 关闭当前的pipline
12.开始上传第二个数据块
13.重复9,10,11
14.当所有的数据块上传完成 客户端向namenode反馈

文件下载过程示意图：

具体步骤：
1.客户端向namenode发送文件请求
2.namenode会进行一系列的检查 权限 文件是否存在
检查没问题 通过元数据 返回需要下载的文件
所分的数据和数据块的存储节点
3.客户端开始下载第一个数据块 就近原则
将第一个数据块写在本地文件中
4.第一个数据块下载完成 下载第二个数据块
追加到第一个数据块末尾的过程
5.所有的数据下载完成 客户端向namenode响应