Hadoop学习-HDFS读写流程

HDFS 读流程

1. 客户端通过调用FileSystem对象的open()方法来打开读取的文件。
2. DistributedFileSystem通过远程调用namenode,以确定文件起始块的位置。对于每一个块，namenode返回存有该块副本的datanode地址。这些datanode根据它们与客户端的距离来排序（根据集群的网络拓扑）。如果该客户端本身就是一个datanode，那么该客户端将会从保存有相应数据块副本的本地datanode读取数据
3. DistributedFileSystem 类返回一个FSDataInputStream 对象(一个支持文件定位的输入流）给客户端以便读取数据。FSDataInputStream 类转而封装DFSInputStream对象，该对象管理着datanode和namenode的I/O。接着，客户端对这个输入流调用read()方法进行读取。
4. 存储着文件起始几个块的datanode地址的DFSInputStream 随即连接距离最近的文件中第一个块所在的datanode。通过对数据流反复调用read（）方法，可以将数据从datanode传输到客户端。
5. 读取到块的末端时，DFSInputStream关闭与该datanode的连接，然后寻找下一个块的最佳datanode。所有这些对于客户端都是透明的，客户端看来一直在读取一个连续的流。
6. 客户端从流中读取数据时，块是按照打开DFSInputStream 与 datanode 新建连接的顺序读取的。它也会根据需要询问namenode来检索下一批数据块的datanode的位置。一旦客户端完成读取，就对FSDataInputStream调用close（）方法。

注意：

1. 读取数据的时候，如果通信遇到错误，会尝试从这个块的另外一个最邻近datanode 读取数据。它也会记住那个故障datanode，以保证以后不会反复读取该节点上后续的块。
2. 读取数据的时候，也会通过校验和确认从datanode发来的数据是否完整。如果发现有损坏的块，会尝试从其他datanode读取复本，也会将被损坏的块通知给namenode。

HDFS 写流程

1. 客户端通过对DistributedFileSystem 对象调用create()来新建文件
2. DistributedFileSystem 对namenode 创建一个RPC调用，在文件系统的命名空间中新建一个文件，此时该文件中还没有相应的数据块
3. namenode 执行各种不同的检查以确保这个文件不存在以及客户端有新建该文件的权限。这些检查均通过，namenode就会为创建新文件记录一条记录；否则，文件创建失败并向客户端抛出一个IOException 异常。DistributedFileSystem 向客户端返回一个FSDataOutputStream 对象，由此客户端可以开始写入数据。就像读取事件一样，FSDataOutputStream 封装了一个DFSoutPutStream对象，该对象负责处理datanode 和namenode 之间的通信。
4. 客户端写入数据时，DFSOutputStream 将它分成一个个的数据包，并写入内部队列，称为“数据队列”。DataStreamer 处理数据队列，它的责任是挑选出适合存储数据副本的一组datanode,并据此来要求namenode分配新的数据块。这一组datanode 构成一个管线。DataStreamer 将数据包流式传输到第2个datanode。同样，第2个datanode存储该数据包并且发送给管线中的第3个datanode。（假设副本数为3个）
5. DFSOutputStream 也维护着一个内部数据包队列来等待datanode的收到确认回执，称为"确认队列"。收到管道中所有datanode确认信息ack后，该数据包才会从确认队列删除。
6. 客户端完成数据写入后，对数据流调用close（）方法。
7. 客户端写入完成后，将剩余的所有数据包写入datanode管线，并在联系到namenode告知其文件写入完成之前，等待确认。

注意：

1. 如果任何datanode 在数据写入期间发生故障，首先会关闭管线，确认把队列中的所有数据包都添加会数据队列的最前端，以确保故障节点下游的datanode不会漏掉数据包。
2. 在还在正常运行datanode上的当前block上做一个标志，当宕掉的datanode重新启动后namenode就会知道局部损坏block，从而把他删除掉
3. 已经宕掉的datanode从管线中移除，未写完的block的其他数据继续写入到其他两个还在正常运行的datanode中，namenode知道备份数不足，就会安排一个新的replica从而达到要求的备份数，后续的block写入方法同前面正常的时候一样
4. 有可能管道线中的多个datanode宕掉，但只要dfs.relication.min(默认值为1)个replica 被创建，就可以认为创建成功了，剩余的replica会在以后异步创建以达到指定的replica数。
5. Hadoop中数据文件默认在HDFS上存放3分，存储策略为：第一份放在客户端相同的datanode（若客户端在集群外运行，就随机选取一个datanode来存放第一个replica）,第二个replica放在与第一个replica不同机架的一个随机datanode上，第三个replica放在与第二个replica相同机架的随机datanode上，如果replica数大于三，则随后的replica在集群中随机存放。