HDFS客户端读数据是一个经典的面试题,这里简略的结合图从源码角度给大家分析一下:
1.HDFS Client 调用抽象类FileSystem的get( )获取一个DistributedFileSystem对象, 然后调用DistributedFileSystem.open( ) 打开HDFS文件,这个方法会在底层调用ClientProtocol.open(),该方法会返回一个HdfsDataInputStream对象用于读取数据,HdfsDataInputStream其实是一个装饰类,底层封装了DFSInputStream,真正进行读操作的是DFSInputStream对象。
2.DFSInputStream调用ClientProtocol.getBlockLocations()方法向NameNode获取该HDFS文件其实位置数据块的信息,NameNode返回的数据块的存储位置是按照与客户端拓扑距离远近排序的,DFSInputStream会从中选出一个最优的DataNode节点,然后与这个节点建立数据连接。
3.HDFS Client通过调用DFSInputStream.read()方法从该DataNode中以Packet为单位读取数据,读取到该快的末尾。
4.DFSInputStream会再次调用ClientProtocol.getBlockLocations()联系NameNode获取下一数据块的信息,按之前流程继续读取数据。
5.当数据读取完成后,HDFS Client会调用HdfsDataInputStream.close()方法关闭数据流。