HDFS文件创建和存储

在对上篇hdfs网络拓扑与机架感知                              有了了解之后，现在对HDFS文件创建和存储过程做一个基础的介绍。

HDFS在文件创建和存储的过程中，需要考虑带宽和可靠性。如果在hdfs集群中选出datanode列表作为文件的存储节点呢？上篇已经介绍说了通过机架感知策略实现的。所以，在接下来的文件创建和存储过程中，已经拿到了文件存储的datanode列表。

1.1       Namenode目录创建

客户端通过对DistributedFileSystem对象调用create()函数来新建文件。DistributedFileSystem对namenode创建一个RPC调用，在文件系统的命名空间中创建一个文件，此时该文件中还没有相应的数据块。Namenode执行各种不同的检查以确保这个文件不存在以及客户端有新建该文件的权限。如果这些检查均通过，namenode就会为创建新文件记录一条记录。否则，文件创建失败并想客户端抛出一个IOException异常。DistributedFileSystem向客户端返回一个FSDataOutputStream对象，由此客户端可以开始写入数据。FSDataOutputStream封装一个DFSoutPutStream对象，该对象负责处理datanode和namenode之间的通信。

1.2       创建数据块

在客户端写入数据时，DFSOutputStream将它分成一个个的数据包，并写入内部队列，称为“数据队列”。DataStreamer处理数据队列，它的责任是根据datanode列表来要求namenode分配适合的新块来存储数据复本。这一组datanode构成一个管线，我们假设复本数为3，所以管线中有3个节点。DataStreamer将数据包流式传输到管线中第1个datanode，该datanode存储数据包并将它发送给管线中的第2个datanode。同样，第2个datanode存储该数据包并且发送给管线中的第3个datanode。DFSOutputStream也维护着一个内部数据包队列来等待datanode的收到确认回执，称为”确认队列”。收到管道中所有datanode确认信息后，该数据包才会从确认队列删除。

如果在数据写入期间datanode发生故障，则执行以下操作（对写入数据的客户端是透明的）。首先关闭管线，确认吧队列中的所有数据包都添加回队列的最前端，以确保故障节点下游的datanode不会漏掉任何一个数据包。为存储在另一正常datanode的当前数据块指定一个新的标识，并将该标识传送给namenode，以便故障datanode在恢复后可以删除存储的部分数据块。从管线中删除故障数据节点并且把余下的数据块写入管线中另外两个正常的datanode。Namenode注意到块复本量不足时，会在另一个节点上创建一个新的复本。在一个块被写入期间可能会有多个datanode同时发生故障，但非常少见。只要写入了dfs.replication.min的复本数(默认为1),写操作就会成功，并且这个快可以在集群中异步复制，直至达到其目标复本数。

客户端完成数据的写入后，对数据流调用close方法。该操作将剩余的所有数据包写入datanode管线。Namenode知道文件由哪些块组成(通过DataStreamer请求分配数据块)。