HDFS读写流程详解和副本存放策略

1、读流程

1）客户端首先调用DistributedFileSystem对象的open方法，去和namenode建立rpc通信，请求namenode返回文件的元信息。
2）namenode得到请求，会在内存中寻找文件元信息。找到后给客户端返回部分（读取文件较大）或全部的block列表，即FSDataInputStream对象。
3）客户端调用FSDataInputStream对象的read()方法，从离客户端最近的block副本进行block块的读取，直到这个block块的所有信息读取完毕，然后再进行该block的校验，校验成功则读取下一个block块数据，校验失败则通知namenode并从另一个副本读取数据。
4）如果block列表中数据读取完毕，文件读取还没有结束，DistributedFileSystem对象会从namenode那儿获取下一批的block列表，再次进行block数据的读取。
5）文件读取完毕，客户端会将所有block块拼成一个完整的最终文件，然后调用FSDataInputStream对象的close()方法，关闭输入流，读取结束。

注意：
1、namenode返回的block列表中的block是经过了排序的，离客户端近的排在前面，心跳机制中超时汇报的排在后面。
2、读取实际上是多线程方式并行读