前言
#博学谷IT学习技术支持#
上篇文章主要介绍了HDFS框架中的三大角色,本次主要介绍HDFS的读写流程和,让大家对HDFS有更深一步的了解。
一、HDFS的写流程
(一)相关角色介绍
HDFS写流程相关角色主要有Client端,NameNode和DataNode;
(1)Client端的作用主要是发起一些请求,将文件进行切片以及与DataNode进行数据传输;
(2)NameNode则是进行一些权限检查和返回用于存储数据的DataNode列表;
(3)DataNode相对于其他两个角色来说工作比较简单,就是存储Client端上传的数据。
(二)写流程介绍
读流程主要分为上图中的10个步骤,结合上图进行以下说明:
①Client端发起文件上传请求给NameNode
②NameNode进行权限检查,检查是否有操作权限,即将接收文件的文件夹是否存在
③NameNode会返回一个是否可以上传的注记
④如果NameNode返回可以上传的注记,Client会对文件进行切片
⑤文件切片完成后,Clinet端会向NameNode发起Block上传请求
⑥NameNode根据策略以及主机的优秀程度选出最优的主机
⑦NameNode将选出的主机列表返回给Client端
⑧Client端与主机列表中的第一台主机建立Pipeline管道,将每个Block通过管道以Package包的方式传给DataNode,DataNode内部再将数据传送到其他副本主机中
⑨数据传输过程中,HDFS会产生应答队列,如果队列中的ACK完成,则证明数据传输成功
⑩文件的每个Block都成功传送后,Client端会向NameNode汇报结果,NameNode再更新自己内存中的元数据
二、HDFS的读流程
(一)相关角色介绍
HDFS读流程相关角色跟写流程是一样的,也是有Client端,NameNode和DataNode;
(1)读流程的Client端主要是发起一些文件下载请求,合并取回的Block以及与DataNode进行数据传输;
(2)NameNode也是进行一些权限检查和返回存储文件的Block信息;
(3)DataNode主要与Client建立管道,传输数据。
(二)读流程介绍
读流程主要分为上图中的10个步骤,结合上图进行以下说明:
①Client端发起文件下载请求给NameNode
②NameNode进行权限检查,检查是否有操作权限和文件是否存在
③NameNode获取本次下载文件的Block信息列表,并对存储该Block信息的主机进行排序
④将存储该文件的Block信息列表返回给Client端
⑤Clinet端分别跟存储文件的DataNode建立管道,通过Package方式取回数据
⑥Client端将取回文件所有的Block进行合并,形成完整的文件
总结
HDFS读写流程主要的角色都是Client端,NameNode和DataNode,Client端的作用主要是发起请求和对文件进行切片和合并,NameNode则是提供存储文件的DataNode列表,而DataNode做的事情最简单,就是与Client端进行数据传输以及文件Block的存储。