HDFS数据读写操作

目标

HDFS采用写一次，读多次模式，不能修改已经存储在HDFS上的文件，但是我们可以通过重新打开文件，添加数据到重新打开的文件中。在一个读写操作的过程中，首先与NameNode交互，NameNode提供权限，使客户端能够读数据块，写数据块到相应的datanodes。我们将会学习 HDFS数据读，写数据的内部原理。

HDFS读写操作

HDFS（Hadoop Distributed File System）是Hadoop的存储层，它是最可靠的存储系统，HDFS以master-slave的模式进行工作。NameNode是master进程，运行在master节点，DataNode是slave进程，运行在slave节点。

HDFS写操作

为了在HDFS上写一个文件，客户端需要与namenode进行交互，namenode提供客户端将会写数据到datanodes的地址，客户端直接在datanode上写数据，datanode将会创建写管道。第一个datanode复制块到另一个datanode，然后复制到第三个datanode，只要创建完数据块的副本数，将会返回确认信息。

HDFS数据写管道流程

1. HDFS客户端发送一个创建请求到DistributedFIleSystem APIs。
2. DistributedFileSystem调用一个RPC到Namenode，在文件系统空间中创建一个新文件。namenode做各种检测确保文件还没有存在，客户端有权限创建文件，当这些检测完成后，namenode为这个新文件添加一条记录