HDFS读写流程

HDFS读写流程

读流程

1. 客户端通过Distributed FileSystem 向NameNode请求下载文件，NameNode通过查询元数据，找到文件所在的DataNode地址。
   2.挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
2. DataNode开始传输数据给客户端(从磁盘里读取数据输入流，以packet为单位来做校验)。
3. 客户端以packet为单位接收，现在本地缓存，然后写入目标文件。

功能快捷键

1. 客户端通过Distributed FileSystem 模块向NameNode请求上传文件，NameNode检查目标文件是否存在，父目录是否存在。
2. NameNode返回是否可以上传。
3. 客户端请求第一个block上传到哪几个DataNode服务器上。
4. NameNode返回三个DataNode节点，分别为 dn1,dn2,dn3。
5. 客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。
6. dn1,dn2,dn3逐级应答客户端。
7. 客户端开始往dn1上传第一个block（先从磁盘上读取数据放到一个本地内存缓存），以packet为单位，dn1收到一个packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答。
8. 当一个block传输完成后，客户端会再次请求NameNode上传第二个block的服务器（重复执行3-7步）。