HDFS上传流程

客户端发送上传请求
谁接受?
namenode

接受完之后干嘛?
查看文件是否存在,父目录是否存在

检查完之后干嘛?
namenode向客户端发送是否可以上传可以

上传之后,我们应该干嘛?
检查块(数据)是否是128M的1.1倍

大于128M的1.1倍怎么办?
进行切片(按照128M进行切片)

小于128M的1.1倍怎么办?
不进行切片,按照原数据进行上传数据知道了

客户端问namenode把块(数据)存放到哪?
namenode根据副本存储策略(就近原则)找到三个datanode节点

找到节点之后,我们干嘛?
第一个datanode 简称d1
第二个datanode 简称d2
第三个datanode 简称d3
d1向d2向d3依次建立通信

建立完通信之后,要干嘛?
返回d3,d2,d1的信息(依次)

得到信息,我们需要干什么?
客户端开始上传第一个块(数据)先上传到d1,d1向d2传输,d2向d3传输

传输的时候,我们直接写入到磁盘吗?
只有在我们第一个块(数据)完全传输完(先放到代写队列),才会进行写入到磁盘.

第一个块,上传完,该干嘛?
上传第二块

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@Heartworm

你的鼓励就是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值