HDFS的读取数据流程

1. 发送请求,连接namenode,执行读取数据

2. namenode接受读取请求后,
首先判断当前这个操作用户是否拥有读取权限,如果不具有直接报错。
如果有读取权限,接着判断要读取的目录下是否存在这个文件,如果不存在,报错,如果存在,则根据机架感应原理,网络拓扑关系,副本机制,返回部分或者全部的block所在的datnode地址

3.当接受部分或全部的block列表后,然后进行并连接datanode节点,开始读取数据

4.当这些地址中的block全部读取完之后,如果之前请求的时部分的block,此时会再次请求namenode。

将剩余或者部分的block的datanode列表返回来,接着运行第三步。

开启读取数据,知道将所有的block读取完成

5,按照block排序,将读取的block一个一个连接起来,形成最终的文件,此时用户就能看到最终的文件了。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值