hdfs的读写数据流程

现在客户端要上传一个300M的文件,这个文件被客户端分成三块。

第一步:客户端向namenode请求上传文件

第二步:namenode检查元数据,看是否文件已经存在等,然后对客户端发送可以上传的信息

第三步:客户端通知namenode上传第一块数据

第四步:namenode返回第一块数据的存放节点data1、data2、data4

副本存放原则:1.第一块放在跟客户端同机架的其他机器上

                         2.第二块放在跟第一块不同机架的其他服务器上

                         3.第三块放在跟第二块相同机架的其他服务器上(第三块放在跟第一块相同机架的不同服务器上)

第五步:客户端通过rpc方式连接dt1,并上传第一块数据到dt1,datanode之间有管道连接,数据可以通过管道向dt2,dt4传输

第六步:datanode会把接受数据的情况返给客户端

第七步:客户端向namenode传输上传成功的消息

第一步:客户端向namenode请求下载文件

第二步:namenode返回下载文件的元数据(数据块的储存信息、顺序)

第三步:客户端与datanode建立连接,请求下载第一块数据

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值