hdfs三大机制的流程

namenode的作用:

1.接收客户端的读写请求
2.保存元数据信息
3.分配副本的存放节点
4.负载均衡

secondarynamenode:

1.备份元数据
2.帮助namenode进行checkpoint,分担压力

datanode:

1.真正的数据存储
2.处理客户端的读写请求

hdfs三大机制
上传
下载
元数据合并

一。上传

  1. 客户端向namenode发送文件上传的请求
  2. namenode进行一系列的检查(1.权限,2.检查父目录是否存在,3.检查文件是否重名等,没有问题之后进行下一步)
  3. 向client发送文件上传的响应
  4. client发送文件上传的真正请求,包含文件名,文件大小等
  5. namenode向client返回数据上传的节点,通过文件大小进行计算,算出文件被切分的块数,最终确定返回的节点个数(例如文件200m,被切成两块,默认三个副本,则bk1:1,2,3 bk2:3,4,5)
  6. 客户端开始准备文件上传(进行文件的逻辑切块(不真正切块,只划分出切块的范围,是预切分))
  7. 构建第一个块的pipline(从client-》datanode01-》datanode02.。。。)在此期间,客户端会构建一个守护进程,等待pipline构建成功的响应
  8. 开始上传第一个数据块,边上传,边切分,以pakage为单位
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值