HDFS写数据流程

1、客户端通过调用，分布式文件系统（DistributedFileSydtem）对像中的Create（）创建一个文件。DS通过PRC调用的名称节点的文件系统命名空间创建一个新文件。

2、NameNode通过验证，确保请求客户端拥有创建文件权限，新的文件不存在文件系统中。验证通过，名称节点则会创建一个新文件记录。若创建失败，则显示异常。若成功，分布式文件系统返回一个文件系统数据输出流给客户端用来写数据。

3、客户端调用FSDataOutputStream的Write()函数，向应对的文件写入数据。

4、客户端写入数据时，DFSDataOutputStream会将文件分割成包，将其放入一个内容“数据队列”中数据流系统将小文件放入数据流中，数据流的作用是请求名称节点为新的文件包分配合适的数据节点存放副本。返回的数据节点形成了一个”管道“，其中的数据集的将文件包以流的方式传给队列的第一个数据节点，依次重复操作，直到完成最后一个数据节点。

5、DFSDataOutputStream同时也会保存一个包的内部队列，用来等待“管道”中的数据节点返回确认信息，此队列称为“确认队列”。只用所有数据节点都返回写入成功的信息后，才会确认队列中删除。若数据写入失败，HDFS则首先关闭“数据流管道”，任何通知队列的文件包都会被添加到“数据队列“的前端，保证数据不会丢失。

6当客户端成功完成数据写入的操作后，调用FSDataOutputStream的Close（）方法，将所有的数据块写入数据流管道中的数据节点，待成功返回，最后通过名称节点完成写入。