首先准备上传的文件总共大小为200M,首先进行切分,先上传块一:128M,Client向Namenode申请上传文件许可,Namenode收到请求并且同意发送一个响应给Client,Client发送一个请求第一个Block,Namenode返回三个副本的DNS,此时Client打开FSDataOutputStream,输出流通过Namenode给的DNS,寻找对应的Datanode1、Datanode2、Datanode3,通过串联的方式请求建立通道,Datanode通过串联方式同意应答,此时FSDataOutputStream并行的方式发送Packet(64K),假如Datanode2无法传输,则Datanode1另寻地址DNS,最后传输完成,再传输72M,此时Namenode又分配DN4,DN5,DN6,这些可能与DN1,DN2,DN3相同。
Hadoop-16、HDFS上传、读写流程
最新推荐文章于 2022-11-04 08:41:32 发布