HDFS读取和写入过程

HDFS读取流程:

• 客户端通过调用FileSyste对象的 open()方法来打开希望读取的文件,对于HDFS来说,这个对象是DistributedFileSystem的一个实例(图3-2中的步骤1)。 
• DistributedFileSystem通过使用远程过程调用(RPC)来调用 namenode,以确定文件起始块的位置(步骤2)。
• 对子每一个块, namenode返回存有该块副本的datanode地址。此外,这些datanode根据它们与容户端的距离来排序(根据集群的网络拓扑,参见3.6.1节的补充材料)。如果该客户端本身就是一个datanode(比如,在一个 MapReduce任务中),那么该客户端将会从保存有相应数据块复本的本地 datanode读取数据(参见图2-2及10.3.5节).DistributedFileSystem类返回一个 FSDataInputStream对象(一个支持文件定位的输入流)给客户端以便读取数据。FSDataInputStream类转而封装DFSInputStream对象,该对象管理着 datanode和 namenode的 I/O。接着,客户端对这个输入流调用 read()方法(步骤 3)。
• 存储着文件起始几个块的datanode地址的 DFSInputStream随即连接距离最近的文件中第一个块所在的datanode。通过对数据流反复调用 read()方法,可以将数据从 datanode传输到客户端(步骤4)。
• 到达块的末端时, DFSInputStream:关闭与该 datanode的链接,然后寻找下一个块的最住 datanode(步骤5)。

• 所有这些对于客户端都是透明的,在客户看来它一直在读取一个连续的流。客户端从流中读取数据时,块是按照打开 DFSInputStream与datanode新建连接的顺序读取的。它也会根据需要询问 namenode来检索下一批数据块的 datanode的位置. 一旦客户端完成读取.就对FSDataInputStream调用close()方法(步骤6).

意外:

•     在读取数据的时像,如果DfSlnputStream在与datanode通信时遇到错误,会尝试从这个块的另外一个最邻近 datanode读取数据.它也也记性那个故障 datanode,以保证以后不会反复读取该节点上后续的块。 DFSlnputStream也会通过校验和确认从 datanode发来的数据是否完整。如果发现有损坏的块.DFSInptrtStream会试图从其他datanode读取其复本. 也会将被损坏的块通知给 namenode。
• 设计目的:这个设计的一个重点是.客户端可以直接连接到 datanode检索数据,且namenode告知客户端每个块所在的最佳 datanode。由于数据流分散在集群中的所有datanode,所以这种设计能使 HDFS扩展到大量的并发客户端。同时, namenode只需要响应块位置的请求(这些信息存情在内存中,因而非常高效),无需响应数据请求.否则随着客户端数量的增长, namenode会很快成为瓶颈。

HDFS读取流程: