HDFS读文件流程

HDFS读文件流程图如下:

1、client通过FileSystem.open(path)方法，去与NN进行RPC通信，NN会校验传入的路径是否存在，用户是否有权限访问该路径下的文件。
2、校验完成后，返回部分或者全部的block列表。其实就是返回FSDataInputStream对象。
3、client调用FSDataInputStream的read()方法
a 去第一个块的最近的DataNode去read，读完后，会校验。假如通过，则会关闭与DataNode的通信。假如校验失败，会记录下失败的块+DN的信息，下次就不会再去读取了。然后再去下一个DataNode读取该块数据。
b 然后去第二个块最近的DN读取数据，校验成功后，关闭通信
c 以此类推，如果block列表全部读取完毕，文件还未读完，则继续读取下一个block列表
4、client调用FSDataInputStream的close方法，关闭输入流