HDFS写数据流

HDFS写数据流程

1. 客户端通过调用，分布式文件系统对象中的Create（）创建一个文件。分布式文件系统通过RPC调用的名称节点中的文件系统命名空间创建一个新文件。
2. Namedode通过多种验证，确认客户端权限和没有相同的文件后，创建一个新的文件记录。验证未通过，则为创建失败，会显示IOException异常。
3. 验证通过，则分布式文件系统会返回文件系统数据输出流 让客户端去写数据。
4. 将文件分成数据块，通过数据流的方式往数据节点中写数据。客户端调用DFSDataOutputStream的Write（）函数，向对应的文件写入数据。
5. 在写数据时 分布式文件系统同时会保存数据块，作为内部队列，当数据流里的数据全部输入的同时，内部队列会去确认输入数据的信息，所以这个内部队列也会作为确认队列。当全部被确认之后，最后这个内部队列会被删除。
6. 最后写完之后Datanode会向客户端发出确认，然后客户端向Namenode发出结束消息，并将文件的块信息存储在Namenode中。

如下图：