hdfs读流程图_HDFS主要流程

HDFS的几个典型的流程：客户端读HDFS文件流程、客户端写HDFS文件流程、客户端追加写HDFS文件流程、数据节点与名字节点交互流程以及HDFS HA切换流程等。

一、客户端读HDFS文件流程打开HDFS文件:HDFS客户端首先调用DistributedFileSystem.open()方法打开HDFS文件，这个方法在底层会调用ClientProtocol.open()方法，该方法会返回一个HdfsDataInputStream对象用于读取数据块。HdfsDataInputStream其实是一个DFSInputStream的装饰类，真正进行数据块读取操作的是DFSInputStream对象。

从Namenode获取Datanode地址:在DFSInputStream的构造方法中，会调用ClientProtocol.getBlockLocations()方法向名字节点获取该HDFS文件起始位置数据块的位置信息。Namenode返回的数据块的存储位置是按照与客户端的距离远近排序的，所以DFSInputStream可以选择一个最优的Datanode节点，然后与这个节点建立数据连接读取数据块。

连接到Datanode读取数据块:HDFS客户端通过调用DFSInputStream.read()方法从这个最优的Datanode读取数据块，数据会以数据包(packet)为单位从数据节点通过流式接口传送到客户端。当达到一个数据块的末尾时，DFSInputStream就会再次调用ClientProtocol.getBlockLocations()获取文件下一个数据块的位置信息，并建立和这个新的数据块的最优节点之间的连接，然后HDFS客户端就可以继续读取数据块了。

关闭输入流:当客户端成功完成文件读取后，会通过HdfsDataInputStream.close()方法关闭输入流。

流程图如下：