HDFS写数据流程

HDFS写数据流程
第一步 客户端通过调用HDFS创建文件，用RPC向namenode发起文件上传请求
第二步 namenode检测客户端是否具有上传权限，并向客户端返回结果，将文件切分成若干block
.第三步 客户端收到namenode的可以上传回应后，向namenode请求上传第一个 block
第四步 namedode根据集群中 datanode的信息与机器感知，选出可以上传的三个主机，并向客户端返回datanode列表。因为考虑数据的安全性，数据文件在HDFS上默认存三份，本地一份，其他机架的某一节点一份，同机架不同节点一份。
第五步 客户端根据列表向datanode建立数据流管道，不同datanode之间也建立pipieline
第六步 客户端向datanode传输数据，将第一个block划分Packet（64K大小）传输
第七步 第一个 datedode将packet的信息进行缓存，通过管道依次传到每一个datadode, 当第一个block 信息完全传输完后，最后一个datanode通过pipieline向前一个datanode发送应答，依次将应答传递给客户端。客户端继续向namenode申请上传第二个block信息并重复第六七步，直到所有划分好的block上传完