HDFS读写流程

一、HDFS写流程：

1.Client调用FileSystem.create(filepath)

去NameNode进行【RPC】通信，NameNode会去检查这个路径的文件是否存在，是否有权限创建这个文件，如果都能，则创建一个新的文件，此时未写数据，不关联任何block，NameNode根据上传的文件大小，根据块大小+副本数参数计算要上传多少块和多少块储存在DataNode的位置，最终将这些信息返回给客户端。

2.Client调用【FSDataOutputStream对象】

写方法：
将第一个块的第一个副本数写第一个DataNode节点,写完去第二个DataNode节点写第二个副本，
写完去第三个DataNode节点写第三个副本，当第三个副本写完，就返回一个ack package确认包给DataNode2节点，当DataNode2节点接收到这个ack package确认包，加上自己也写完了就返回一个ack package给第一个DataNode节点，当DataNode1节点收到这个ack package确认包,加上自己也写完了，DataNode1节点，将ack package返回给【FSDataOutputStream对象】，就表示第一个块的三个副本写完。

以此类推

3.当所有的块全部写完Client调用【FSDataOutputStream对象】的close方法，告诉NameNode文件写完了。

二、HDFS读流程：

1.Client调用FS.open(filepath)
与NameNode进行RPC通讯，返回该文件的部分或者全部的block列表。

2.Client 调用【FSDataInputStream】对象的read方法

去与第一个块的最近的DataNode进行读取，读取完成后会check，如果通过，就关闭与DataNode的通信，假如读取失败录，会记DataNode+block的信息，下次就不会从这个节点读取，而从第二个节点读取，然后去与第二个块的最近的DataNode进行读取，以此类推。

假如当block列表全部读取完成，文件还没有读取完，继续调用FS从NameNode获取下一个批次的block列表，以此类推。

3.Client调用【FSDataInputStream】对象的close方法，关闭输入流。