hdfs写流程

 

 

 

1.client(客户端）会和NameNode进行通信，NN会对我们写操作的文件进行核对，验证我们写文件是否存在，是否有权限去写，如果文件存在或者没有权限进行操作，我们的NN会返回给我们的client写入失败的信息，验证成功的话，就会我们写操作分配相应的DataNode,然后将这些信息返回给我们客户端。

2.client收到信息后，会将我们文件的进行切片，生成许多packed，然后会将这些切片放到数据队列中，客户端会和第一个DataNode获取连接信息，生成一个通道，然后将我们的数据片复制到通道里，写到我们第一个DataNode上

3.当我们的第一个接点写入完成 后，就会一管道的形式将我们的数据片传递给我们的第二个节点，在进行写操作，写入完成后依次将我们的数据片写到我们的第三个节点上，

4.当我们的所有副本都写完成后，就会给我们客户端回复一个确认信息，当我们收到确认信息后，就会将写完的这个数据片从数据队列中移除 

5.然后进行上诉操作，将所有的数据片都写完，client就会去NN上面关闭写的操作。

转载于:https://www.cnblogs.com/congguanghui/p/8305034.html