HDFS写数据流

 HDFS写数据流

1.客户端向名称节点发出写数据流的请求。

2.名称节点通过多种验证，查看新文件是否已存在系统，若存在则创建失败，不上传文件，若不存在则上传，并告知客户端写数据。

3.当客户端开始写入数据时，DFSDataOutputStream会将文件分割成包，然后放入一个内容“数据队列”中，数据流系统会将这些小的文件放入数据流中，然后DataStreamer请求名称节点为新的文件包分配合适的数据节点存放副本。返回的数据节点形成一个“管道”，管道中的数据节点将文件包以流的方式传给第一个数据节点，第一个数据节点会存储这个包，然后将它推送到第二个数据节点，依次重复操作，直到完成最后一个数据节点。

4.DFSDataOutputStream也会保存一个包的内部对列，用来等待管道中的数据节点返回确认信息，这个队列被称为“确认队列",只有当所有数据节点都返回写入成功后，才会删除。

5.最后客户端向名称节点发出结束消息，并将文件的块信息存储在名称节点中。