HDFS读流程+HDFS写流程

目录

一、HDFS写流程

1、流程图如下：

2、过程：

二、HDFS  读流程

1、流程图如下：

2、过程：

三 、思考题

1、一些名词了解

---

一、HDFS写流程

1、流程图如下：

2、过程：

（1）HDFS Client调用Filesystem.creat(filePath)方法，通过RPC（远程过程调用，简单的理解是一个节点请求另一个节点提供的服务）与NameNode建立通讯。

（2）NN会检查这个文件是否存在？是否可以创建?如果可以，NN会触发副本放置策略，计算出上传的块和相应的DN节点，然后将这个信息返回给Client的FsDataOutputStream对象。

（3）Client和对应的一个 DN 建立PipeLine连接（本质上也是一个RPC调用，DN收到请求后再去调用另一个，另一个接着调用最后一个，将整个PipeLine建立完成后，从后逐级返回给client）

（4）Client接着调用 FsDataOutputStream 的write方法，Client将每个块 切成packet（64k），然后向第一个DN发送，第一个收到后保存再发送给第二个，第二个收到后保存，再发送给第三个

在此过程中 上游节点同时发送下一个packet 

生活中类比工厂的流水线；结论：流式其实也是变种的并行计算

（5）然后再PipeLine反方向，逐个发送ACK（命令正确应答），最后由第一个DN发送给Client（FSDataOutputStream）

（6）当第一个block传输完成后，Client请求NameNode上传第二个block，重复3操作

（7）当所有block全部写完，Client调用FSDataOutputStream的close方法关闭数据流

然后调用FileSystem.complete 方法告诉NN文件写入成功。

二、HDFS  读流程

1、流程图如下：

2、过程：

（1）HDFS Client 调用Filesystem.open(filePath)方法，与NN进行RPC通信

（2）NN对文件进行权限检查（存在？权限？）然后根据就近返回相应的block列表给Client

（3）Client与相应的每个block主机建立PipeLine（并行）

（4）client调用FSDataInputStream.read方法同样以package为单位进行读取，读取完后进行检查

（5）将读取的不同block进行合并

（6）client调用FSDataInputStream的close方法关闭数据流

三 、思考题

1、一些名词了解

spu：款                sku：款色                   范围  spu>sku