HDFS的读写流程

HDFS的读数据流程

1）客户端通过Distributed FileSystem向NameNode请求下载文件，
2）NameNode通过查询元数据，找到文件块所在的DataNode地址。
3）挑选一台DataNode（就近原则，然后随机）服务器，请求读取第一个 Block。
4）DataNode将第一个 Block数据传给客户端。
5）再挑选一台DataNode（根据就近原则和负载情况）服务器，请求读取第二个 Block。
6）DataNode将第二个 Block数据传给客户端。
7）客户端将两个Block数据进行拼接处理，然后写入到文件中。
 

HDFS的写数据流程

1）客户端首选创建一个Distributed FileSystem对象，然后通过Distributed FileSystem向NameNode请求上传文件，NameNode检查目标文件是否已存在。
2）NameNode返回是否可以上传。
3）客户端请求第一个 Block上传到哪几个DataNode服务器上。
4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
5）客户端通过FSDataOutputStream输出流向dn1（通过就近原则选择节点）上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
6）dn1、dn2、dn3逐级应答客户端。
7）客户端以Packet为单位往dn1上传第一个Block（先将数据上传到内存中，然后将内存中数据序列化到磁盘上），dn1收到一个Packet就会传给dn2（先传到内存再序列化到磁盘），dn2传给dn3（先传到内存再序列化到磁盘），等dn3每处理完一个packet就会往回应答数据已处理完成，可以删除内存中的数据，接着dn2、dn1也往回应答。
8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。