hdfs 上传文件（写数据）流程

hdfs 上传文件（写数据）流程

需求：向hdfs上传 300M文件text.txt 到 /mydir 目录
注意：客户端会把300M文件切分为128M（blk_1）、128M(blk_2）、44M（blk_3）三块，切块大小需要根据hadoop的配置来，2.x以上默认是128M

• 1、向namenode请求上传文件 text.txt 到 hdfs的/mydir目录下
• 2、namenode返回允许上传的状态
• 3、上传text.txt的blk_1
• 4、namenode返回上传的datanode路径{blk_1,[dn1,dn2,dn3]}
• 5、client请求3台dn中的一台dn1上传数据（本质上是一个RPC调用，建立pipeline），dn1收到请求会继续调用dn2，然后dn2调用dn3，将整个pipeline建立完成，逐级返回客户端
• 6、client开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，dn1收到一个packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答
• 7、当一个block传输完成之后，client再次请求namenode上传第二个block的服务器

---

基本流程如图所示：