HDFS读写流程

HDFS读写流程

HDFS写流程

1.HDFS Client调用FileSystem.create(filePath)方法，去和NN进行（RPC）通信。NN先会检查这个文件是否存在以及是否有权限创建这个文件。如果都可以的话就创建这个新文件，但是这时没有数据，是不关联任何block块的。

2.NN根据文件的大小，根据块大小、副本数，计算要上传多少的块和要上传到哪些DN节点上。最终这个信息返回给HDFS Client（FSDataOutputStream）对象。

3.HDFS Client调用上一步返回FSDataOutputStream对象的write方法，根据副本放置策略，将第一个块的第一个副本写到DN1，写完复制到DN2，写完复制到DN3.当第三个副本写完，就返回一个ack 确认包给DN2，DN2接收到ack确认包加上自己写完，发送ack给DN1，DN1接收到ack接上自己写完，就发送ack给客户端FSDataOutputStream对象，告诉它第一个块的三个副本都写完了，如果这个文件还有其他块的话步骤以此类推。

4.当所有的块全部写完HDFS Client调用FSDataOutputStream对象的close方法，关闭输出流。再次调用FileSystem.complete方法，告诉NN文件写入成功。

HDFS读流程

1.HDFS Client调用FileSystem的open(filepath)方法与NN进行（RPC）通信。NN返回该文件的部分或者全部的block列表，也就是返回FSDataInputStream对象。

2.Client调度FSDataIntputStream对象的read方法，与第一个块的最近的DN的进行读取，读取完成后，会check，假如ok就关闭与DN通信。假如不ok，就会记录块+DN的信息，下次就不从这个节点读取。那么从第二个节点读取。然后与最近的第二个DN节点上读取此块，以此类推。假如当block的列表全部读取完成，文件还没结束，就调用FileSystem从NN获取下一批次的block列表。

3.Client调用FSDataIntputStream对象的close方法，关闭输入流。