HDFS读写流程个人珍藏总结

---

HDFS写流程

提示：写流程图如下：

---

1.详细写步骤

1. 客户端（FS shell）向namenode请求上传文件，namenode检查文件是否存在，父目录是否存在。
2. namenode返回客户端是否可以上传。
3. 客户端请求第一个block上传到哪几个datanode上。
4. namenode返回客户端3个datanode（假设）节点，dn1，dn2，dn3.
5. 客户端请求dn1上传数据，dn1发送请求给dn2，dn2发给dn3，（传递的本质时RPC调用，之间建立pipeline通信管道）。
6. DN1,DN2,DN3逐级应答响应给客户端。
7. 客户端开始上传第一个block到dn1（本质是先从磁盘读取数据放到一个本地内存缓存），以packet为单位；dn1收到一个parket就回传给dn2，dn2传给dn3；dn1每传递一个parket会放入一个应答队列等待应答。
8. 当第一个block上传完毕之后，客户端会向namenode请求上传第二个block的服务器。

2.详细读步骤

流程图（示例）：

1. 客户端向namenode请求下载文件，namenode查询元数据，找到文件块所在的datanode地址。
2. 客户端挑选一台datanode（就近原则）服务器，请求读取数据。
3. datanode开始传输数据到客户端。
4. 客户端以packet为单接收，先放入本地缓存，然后写入目标文件。

---

总结

面试要点，最好能背下来。