图解HDFS的读写流程

HDFS读写流程

HDFS的简介
HDFS是Hadoop Distribute File System 的简称，意为：Hadoop分布式文件系统。是Hadoop核心组件之一,允许使用简单的编程模型在大量廉价的机器上对大数据集进行处理,是作为最底层的分布式存储服务而存在。

HDFS的写流程

1. datanode先向namenode汇报自身情况,默认时间3s,如果超时,namenode就会认为datanode已经挂掉
2. 客户端向namenode发送上传文件的请求
3. namenode接受到请求后,检查client是否有上传文件的权限,同时检查元数据中是否存在相同的文件
4. namenode给客户端响应,可以上传文件
5. 客户端先将文件以128M一块进行切割,
6. 客户端开始携带上第一个block文件去请求namenode应该存放到哪儿
7. namenode根据机架感知原理给客户端存放的地址
8. 客户端根据namenode给与的地址,与datanode1建立管道连接,然后由datanode1与datanode3建立管道连接
9. 传输文件的时候,会先将文件切割成64k的packget
10. 备份节点存储成功后,会返回一个ack确认码
11. 上传第一个块完毕后在依次上传剩余的块

HDFS的读流程

1. 首先datanode向namenode汇报自身状态
2. 客户端发送下载a文件的请求,来确认block快所在的位置信息
3. namenode会视情况返回文件的block的列表,然后根据客户端距离datanode的远近,以及datanode自身的状态的好坏的进行排序,
4. 客户端会选取排名靠前的datanode来读取block信息,如果客户端本身就是datanode那么就直接从本地获取,底层调用的是Socket Stream 重复的调用read方法,若文件还没读取完毕,客户端会继续读取,读取完毕后继续读取下一个块,每读取完一个都会进行chesksum验证,并且读取块的方式是并行的读取,而不是一块一块的读取,当全部的块读取完毕,会合并成一个完整的文件