HDFS客户端读数据流程（图解）

HDFS客户端读数据是一个经典的面试题，这里简略的结合图从源码角度给大家分析一下：

1.HDFS Client  调用抽象类FileSystem的get( )获取一个DistributedFileSystem对象， 然后调用DistributedFileSystem.open( ) 打开HDFS文件，这个方法会在底层调用ClientProtocol.open()，该方法会返回一个HdfsDataInputStream对象用于读取数据，HdfsDataInputStream其实是一个装饰类，底层封装了DFSInputStream，真正进行读操作的是DFSInputStream对象。

2.DFSInputStream调用ClientProtocol.getBlockLocations(）方法向NameNode获取该HDFS文件其实位置数据块的信息，NameNode返回的数据块的存储位置是按照与客户端拓扑距离远近排序的，DFSInputStream会从中选出一个最优的DataNode节点，然后与这个节点建立数据连接。

3.HDFS Client通过调用DFSInputStream.read（）方法从该DataNode中以Packet为单位读取数据，读取到该快的末尾。

4.DFSInputStream会再次调用ClientProtocol.getBlockLocations（）联系NameNode获取下一数据块的信息，按之前流程继续读取数据。

5.当数据读取完成后，HDFS Client会调用HdfsDataInputStream.close()方法关闭数据流。