大数据之HDFS读写流程介绍

---

前言

#博学谷IT学习技术支持#
上篇文章主要介绍了HDFS框架中的三大角色，本次主要介绍HDFS的读写流程和，让大家对HDFS有更深一步的了解。

一、HDFS的写流程

（一）相关角色介绍

HDFS写流程相关角色主要有Client端，NameNode和DataNode；
（1）Client端的作用主要是发起一些请求，将文件进行切片以及与DataNode进行数据传输；
（2）NameNode则是进行一些权限检查和返回用于存储数据的DataNode列表；
（3）DataNode相对于其他两个角色来说工作比较简单，就是存储Client端上传的数据。

（二）写流程介绍

读流程主要分为上图中的10个步骤，结合上图进行以下说明：
①Client端发起文件上传请求给NameNode
②NameNode进行权限检查，检查是否有操作权限，即将接收文件的文件夹是否存在
③NameNode会返回一个是否可以上传的注记
④如果NameNode返回可以上传的注记，Client会对文件进行切片
⑤文件切片完成后，Clinet端会向NameNode发起Block上传请求
⑥NameNode根据策略以及主机的优秀程度选出最优的主机
⑦NameNode将选出的主机列表返回给Client端
⑧Client端与主机列表中的第一台主机建立Pipeline管道，将每个Block通过管道以Package包的方式传给DataNode，DataNode内部再将数据传送到其他副本主机中
⑨数据传输过程中，HDFS会产生应答队列，如果队列中的ACK完成，则证明数据传输成功
⑩文件的每个Block都成功传送后，Client端会向NameNode汇报结果，NameNode再更新自己内存中的元数据

二、HDFS的读流程

（一）相关角色介绍

HDFS读流程相关角色跟写流程是一样的，也是有Client端，NameNode和DataNode；
（1）读流程的Client端主要是发起一些文件下载请求，合并取回的Block以及与DataNode进行数据传输；
（2）NameNode也是进行一些权限检查和返回存储文件的Block信息；
（3）DataNode主要与Client建立管道，传输数据。

（二）读流程介绍

读流程主要分为上图中的10个步骤，结合上图进行以下说明：
①Client端发起文件下载请求给NameNode
②NameNode进行权限检查，检查是否有操作权限和文件是否存在
③NameNode获取本次下载文件的Block信息列表，并对存储该Block信息的主机进行排序
④将存储该文件的Block信息列表返回给Client端
⑤Clinet端分别跟存储文件的DataNode建立管道，通过Package方式取回数据
⑥Client端将取回文件所有的Block进行合并，形成完整的文件

---

总结

HDFS读写流程主要的角色都是Client端，NameNode和DataNode，Client端的作用主要是发起请求和对文件进行切片和合并，NameNode则是提供存储文件的DataNode列表，而DataNode做的事情最简单，就是与Client端进行数据传输以及文件Block的存储。