hadoop-hdfs写数据详细流程

客户端写数据的流程（重点）

        （1）客户端向namenode发送上传文件的请求（hadoop fs -put xxx xxx）,namenode对要上传的目录（是否存在）和文件（是否存在）和权限进行检查，如果检查通过，则响应客户端可以上传，否则，拒绝客户端上传。

 

        （2）客户端得到上传文件的允许后读取客户端配置（配置文件，比如hdfs-site.xml可修改replication，也可以修改块大小（hadoop-2.7.2默认128M）,副本数是由客户端决定的）。客户端按块大小对文件进行切块，向namenode请求上传一个数据块

        （3）namenode根据客户端的配置来查询datanode的信息。如果使用默认配置（副本数为3），那么就会返回同一个机架的两个datanode和另一个机架的datanode（机架感知策略）【namenode维护着当前集群中datanode的拓扑情况】

 

        （4）客户端根据收到的datanode信息，首先与就近的某台datanode建立连接（疑问：就近的某台是不是已经包含在返回的datanode信息中了？），然后该datanode节点会与剩下的节点建立传输通道，通道连通后返回确认信息给客户端，表示通道已经连通，可以传输数据。

 

        （5）客户端收到确认信息之后，向就近的已连接的datanode写第一个block的数据（注意：这里传输的时候是以packet为单位的，不是以块），当第一个台datanode收到packet后，首先会放进内存，然后将内存中的数据保存一份到本地，一份传递给与自己连接的下一个datanode(dn1->dn2->dn3)

        （6）等这个数据块传输完成之后客户端会告诉namenode数据块传输完成。