hdfs写入流程

 

 

1. 客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在；
2. NameNode向客户端返回是否可以上传；
3. 客户端向NameNode请求第一个block地址；
4. NameNode返回3个DataNode节点，分别为dn1，dn2，dn3；
5. 客户端通过FSDataOutPutStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成；
6. Dn1，dn2，dn3逐级应答客户端；
7. 客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，每个packet为64KB；dn1收到packet后传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答；
8. 当一个block传输完成之后，客户端再次请求NameNode上传第二个block的服务器。