Hadoop--hdfs文件系统写入流程

NameNode：保存整个文件系统的目录信息、文件信息及分块信息

（即hdfs里面文件的元数据信息）

RPC（底层交互框架）

流程：

1.客户端client 发送写入请求 ，通过RPC（底层交互框架）与namenode建立通信

2.namenode 对客户端用户上传权限进行校验，以及对写入文件与hdfs文件系统中对应目录中是否有重复，如果这两个条件都是满足的 ，就给客户端返回同意写入申请

3.客户端会根据文件大小对其进行拆分，保存在一个个block块中，一个block块默认的size为128M，当拆分完成后，客户端向namenode申请第一个block块的上传的服务器节点（datanode）地址

4.namenode 收到请求后，会根据网络拓扑，机架感知和副本机制进行文件分配，返回可用的datanode节点地址 ，hadoop 中 数据文件默认会存储3份，而文件的存储策略 是 datanode节点写入第一份数据同时，会在同机架的另一个随机机器上写入一份另一台机架上的随机一个机器写入数据

5.客户端client 收到服务器地址后，会向服务器地址中的一个datanode 节点 A 建立通信，本质上也是RPC的调用，建立pipeline,  节点A收到请求后会调用节点B,节点B会继续调用节点C  pipeline建立完成后 会逐级的返回到客户端 pipeline建立成功

6.客户端client 将拆分好的第一份block  数据（先从磁盘读取数据 然后放到本地缓存）  以 数据包packet （64kb）为单位，上发给 节点A, A收到一个数据包就会发送给节点B ,然后B会发送给节点C当A每发送完一个数据包后，会进入应答消息队列等待消息应答

7.第一个block 数据就会被拆分为一个个数据包在建立好的这个pipeline中进行依次传输，每传输完一个数据包就会逐个的向pipeline 中 反向发送 ack （数据正确应答）消息，最终由第一个节点A向客户端client 发送pipelineask（数据正确应答）（pipelineask指的是一个packet 发送结束的标志）

8.当第一个block传输完成后，client会继续向namenode申请第二份block数据文件的写入，namenode会重新选择 三个 datanode节点  下发给client 客户端， 重复上述流程直到数据写入完成