HDFS的读写流程（面试重点）

一、写数据流程

1.首先客户端HDFS Client创建一个Distributed FileSystem 向NameNode请求上传文件ss.avi

2.然后NameNode检查目录树是否可以创建文件（检查权限——是否允许上传，检查目录结构——是否存在）。当都通过的时候响应客户端，反馈可以上传文件

3.客户端接收到可以上传文件的允许后，向NameNode请求上传第一个Block，上传到哪几个DataNode

4.NameNode进行计算，选择副本存储节点，第一个选择的是本地节点，第二个选择的是其他机架的一个节点，第三个是其他机架的另一个节点（默认三个副本存储节点）。并把这三个节点返回给客户端（dn1、dn2、dn3）

5.客户端拿到这三个节点后，创建一个流，向离的最近的一个节点（dn1）进行请求建立Block传输通道，而最近的节点（dn1）会向另外的节点（dn2）进行请求建立通道，另外的节点（dn2）会向第三个节点请求传输通道（dn3）

6.三个节点接收到请求建立通道后，逐一进行应答客户端

7.客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，dn1收到一个packet后就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答

8.当一个 Block 传输完成之后，客户端再次请求 NameNode 上传第二个 Block 的服务
器。（重复执行 3-7 步）。

二、读数据流程

1.客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址，并返回地址给客户端

2.挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据

3.DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以packet为单位校验）

4.客户端以packet为单位接收，先在本地缓存，然后写入目标文件

5.关闭资源