①首先客户端向NameNode发出请求:我要向HDFS传一个数据
②NameNode 收到请求验证此时可以接受上传的数据,然后向客户端返回确认信息OK你准备好就开始吧。
③客户端得到确认后就开始对要上传的数据进行切块处理,blk0,blk1…
④客户端向NameNode通知,我要开始传数据了,告诉我传哪?此时NameNode会检查整个HDFS存储情况,分析确定将blk 存在哪,生成一个虚拟目录进行记录,然后将这个位置信息返回给客户端。
⑤客户端的到具体路径后开始联系DataNode节点,告知将要开始发送数据了,三个DataNode节点相互连通后返回一个信息给客户端告知是否准备好了。
⑥客户端接收到DataNode返回的确认信息后开始将blk以字节流读出——>读出的数据经过打包得到datapackge——>网络输出流传往指定好的DataNode——>DataNode通过网络输入流得到传过来的数据——>再经过本地输出流将数据写到指定的位置
⑦当DataNode将blk存好,副本也存好后就会返回给客户端一个成功信息
⑧客户端接收到成功的信息后再告知NameNode存储完毕
⑨多个blk块并行存储
HDFS上传文件流程 :
最新推荐文章于 2024-06-08 08:45:00 发布