客户端写数据的流程(重点)
(1)客户端向namenode发送上传文件的请求(hadoop fs -put xxx xxx),namenode对要上传的目录(是否存在)和文件(是否存在)和权限进行检查,如果检查通过,则响应客户端可以上传,否则,拒绝客户端上传。
(2)客户端得到上传文件的允许后读取客户端配置(配置文件,比如hdfs-site.xml可修改replication,也可以修改块大小(hadoop-2.7.2默认128M),副本数是由客户端决定的)。客户端按块大小对文件进行切块,向namenode请求上传一个数据块
(3)namenode根据客户端的配置来查询datanode的信息。如果使用默认配置(副本数为3),那么就会返回同一个机架的两个datanode和另一个机架的datanode(机架感知策略)【namenode维护着当前集群中datanode的拓扑情况】
(4)客户端根据收到的datanode信息,首先与就近的某台datanode建立连接(疑问:就近的某台是不是已经包含在返回的datanode信息中了?),然后该datanode节点会与剩下的节点建立传输通道,通道连通后返回确认信息给客户端,表示通道已经连通,可以传输数据。
(5)客户端收到确认信息之后,向就近的已连接的datanode写第一个block的数据(注意:这里传输的时候是以packet为单位的,不是以块),当第一个台datanode收到packet后,首先会放进内存,然后将内存中的数据保存一份到本地,一份传递给与自己连接的下一个datanode(dn1->dn2->dn3)
(6)等这个数据块传输完成之后客户端会告诉namenode数据块传输完成。