HDFS的文件读写流程剖析

HDFS的文件读写流程剖析

一、HDFS文件写入流程
1：客户端向集群中的NameNode发送文件上传的请求，NN进行一系列的校验（文件是否存在，权限是否存在，文件目录是否存在），当校验通过之后，NN会给客户端一个相应，通知客户端可以上传文件。
2：客户端会第二次请求第一个文件的block要传到哪些datanode中，namenode就会返回对应的DN，分别为DN1，DN2，DN3。
3：客户端请求DN1上传数据，DN1收到请求后会继续调用DN2，DN2调用DN3，依次建立通讯管道。DN3->DN2->DN1依次应答。（注意：这里是顺向建立，反向应答，而且是串行的）
4：当管道建立完成之后，客户端开始往DN1上传第一个文件的block，以packet为单位，客户端将第一个packet传给DN1，DN1再传给DN2，DN2传给DN3，DN1每传一个packet就会放入一个应答队列，等DN3->DN2->DN1一次应答说明该packet传送完成，当第一个block的所有packet都传送完成之后就会开始上传第二个block。
5：后续的block上传都是重复2,3,4步骤。

二、HDFS文件读取流程
1：客户端向namenode发送文件读取的请求，namenode找到文件所有block所有对应的地址，通过就近原则挑选一台datanode（剩下的采取随机原则）读取数据。
2：datanode开始从磁盘读取数据，先缓存在本地，以packet为单位做校验，然后传输给客户端。
3：客户端以packet为单位接收数据，现在本地缓存，写入客户端的本地文件。

***-----------------后续还会在源码的基础上来分析HDFS的文件读写流程

-----------------才疏学浅，文章中有错误的问题，可以在评论区批评指正，共同学习共同进步***

-----------------------------原创文件转载请注明出处，谢谢！！！！！