HDFS的读写流程

HDFS的写流程：

 

1）客户端先调用Distributed FileSystem里面的create方法，通过RPC协议，发送请求给NameNode，NameNode会先验证输入的路径是否存在和用户的访问权限是否通过，如果条件都符合，则先将HDFS的操作写入NameNode的edits文件（wal）中。

2）NameNode返回请求给客户端，告其可以上传文件

3）客户端再一次发送请求，询问第一个block块应该写在哪一个DataNode的节点上

4）NamaNode根据副本放置策略，返回3个DataNode的位置给客户端

5）客户端这时候会初始化FSDataOutputStream，调用FSDataOutputStream中的write方法开始写数据，先是将写的请求发送给DN1,DN1紧接着会发送给DN2，DN2最后发送给DN3，以Pipeline的管道模式开始传递，收到请求之后，从DN3开始逐级的响应，DN将数据切分成一个个Packet，形成一个队列。

6）客户端开始上传block块，上传是以packet为单位。第一个packet先上传给DN1，DN1又将其发送给DN2，DN2再将packet发送给DN3，DN3上传成功以后，就会将以ack packet的形式发送给DN2，DN2传给DN1，DN1返回ack packet给FSDataOutputStream的ack quene，标识该packet已经3副本写完

7）完成第一个block块的传输之后，客户端请求NameNode继续写第二个Block块（重复以上3-6步骤）

8）写完所有的block块之后，调用FSDataOutputStream的close方法，关闭输出流，flush缓冲区的数据包。再调用FileSystem的complete方法，通知NN节点写入成功。

 

读流程：

1）客户端调用Distributed FileSystem中的open()方法，RPC与NN通信，告知其要下载相关的文件，NameNode根据请求查询相关元数据，将具体文件信息的block块DataNode地址返回。

2）返回后初始化一个FSDataInputStream，并调用它的read（）方法，在最近的一台DN读取相关的block块信息

3）DN开始传输数据给客户端。

4）如果第一批的block读完了，文件还没下载完，就会再次调用FileSystem的open（）方法获取下一批的block列表，然后继续读，如果所有的块都读完，Client就会调用FSDataInputStream.close() 关闭输入流。