HDFS的数据读取与写入

一、HDFS的数据读取流程

1、客户端通过调用FileSystem对象的open()方法来打开希望读取的文件，对于HDFS来说，这个对象是DistributedFileSystem的一个实例；

2、DistributedFileSystem通过使用远程过程调用（RPC）来调用NameNode，以确定文件起始块的位置；

3、对于每个块，NameNode返回存有该块副本的DataNode地址。此外，这些DataNode根据它们与客户端的距离来排序（根据集群的网络拓扑结构）。如果该客户端本身就是个DataNode，那么该客户端将会从保存有相应数据块副本的本地DataNode读取数据；

4、DistributedFileSystem类返回一个FSDataInputStream对象（一个支持文件定位的输入流）给客户端以便读取数据。FSDataInputStream类转而封装DFSInputStream对象，该对象管理着DataNode和NameNode的I/O；

5、客户端对这个输入流调用read()方法；

6、存储着文件起始几个块的DataNode地址的DFSInputStream随即连接距离最近的文件中第一个块所在的DataNode。通过对数据流反复调用read()方法，可以将数据从DataNode传输到客户端；

7、到达块的末端时，DFSInputStream关闭与该DataNode的连接，然后寻找下一个块的最佳DataNode。所有这些对于客户端都是透明的，在客户看来它一直在读取一个连续的流；

8、客户端从流中读取数据时，块是按照打开DFSInputStream与DataNode新建连接的顺序读取的。它也会根据需要询问NameNode来检索下一批数据块的DataNode的位置。一旦客户端完成读取，就对FSDataInputStream调用close()方法；

9、数据读取流程结束。

在读取数据的时候，如果DFSInputStream在与DataNode通信时遇到错误，会尝试从这个块的另外一个最邻近DataNode读取数据。它也记住那个故障DataNode，以保证以后不会反复读取该节点上后续的块。DFSInputStream也会通过校验和确认从DataNode发来的数据是否完整。如果发现有损坏的块，DFSInputStream会试图从其他DataNode读取其副本，也会将被损坏的块通知给NameNode。

这个设计的一个重点是，客户端可以直接连接到DataNode检索数据，且NameNode告知客户端每个块所在的最佳DataNode。由于数据流分散在集群中的所有DataNode，所以这种设计能使HDFS扩展到大量的并发客户端。同时，NameNode只需要响应块位置的请求（这些信息存储在内存中，因而非常高效），无需响应数据请求，否则随着客户端数量的增长，NameNode会很快成为瓶颈。

二、HDFS的数据写入流程

1、客户端通过对DistributedFileSystem对象调用create()来新建文件；

2、DistributedFileSystem对NameNode创建一个RPC调用，在文件系统的命名空间中新建一个文件，此时该文件中还没有相应的数据块。NameNode执行各种不同的检查以确保这个文件不存在以及客户端有新建该文件的权限。如果这些检查均通过，NameNode就会为创建新文件记录一条记录；否则，文件创建失败并向客户端抛出一个IOException异常；

3、DistributedFileSystem向客户端返回一个FSDataOutputStream对象，由此客户端可以开始写入数据。就像读取事件一样，FSDataOutputStream封装一个DFSOutputStream对象，该对象负责处理DataNode和NameNode之间的通信；

4、客户端向DFSOutputStream对象写入数据；

5、客户端写入数据时，DFSOutputStream将它分成一个个的数据包，并写入内部队列，称为数据队列（data queue）。DataStreamer处理数据队列，它的责任是挑选出适合存储数据副本的一组DataNode，并据此来要求NameNode分配新的数据块。这一组DataNode构成一个管线——我们假设副本数为3，所以管线中有3个节点。DataStreamer将数据包流流式传输到管线中第1个DataNode，该DataNode存储数据包并将它发送到管线中的第2个DataNode。同样，第2个DataNode存储该数据包并且发送给管线中的第3个（也是最后一个）DataNode；

6、DFSOutputStream也维护着一个内部数据包队列来等待DataNode的收到确认回执，称为“确认队列”（ack queue）。收到管道中所有DataNode确认信息后，该数据包才会从确认队列删除；

7、客户端完成数据的写入后，对数据流调用close()方法；

8、步骤7的操作将剩余的所有数据包写入DataNode管线，并在联系到NameNode告知其文件写入完成之前，等待确认。NameNode已经知道文件由哪些块组成（因为DataStreamer请求分配数据块），所以它在返回成功前只需要等待数据块进行最小量的复制；

9、数据写入流程结束。

如果任何DataNode在数据写入期间发生故障，则执行以下操作（对写入数据的客户端是透明的）。首先关闭管线，确认把队列中的所有数据包都添加回数据队列的最前端，以确保故障节点下游的DataNode不会漏掉任何一个数据包。为存储在另一个正常DataNode的当前数据块指定一个新的标识，并将该标识传给NameNode，以便故障DataNode在恢复后可以删除存储的部分数据块。从管线中删除故障DataNode，基于两个正常DataNode构建一条新管线。余下的数据块写入管线中正常的DataNode。NameNode注意到块副本量不足时，会在另一个节点上创建一个新的副本。后续的数据块继续正常接受处理。

在一个块被写入期间可能会有多个DataNode同时发生故障，但非常少见。主要写入了dfs.namenode.replication.min的副本数（默认为1），写操作就会成功，并且这个块可以在集群中异步复制，直到达到其目标副本数（dfs.replication的默认值为3）。

完毕。