HDFS的读写流程

写入的流程

流程:

  1. 客户端先向 NameNode 节点发送上传数据的请求

  2. NameNode 接收到请求之后进行权限校验,校验之后,会计算出来三个节点

  3. 客户端会将输入的文件切割成 块 ,然后一个个块进行传递

  4. 客户端先跟第一个服务器 创建连接,这个通道的名字是 PipeLine

  5. 每次传递数据的时候都是以 Packet 为单位进行传递的,每个 Packet 大约是 64KB

  6. 各个数据节点(DataNode)之前也会创建连接 PipeLine ,中间也是传递的 Packet

  7. 各个节点传递成功之后会进行应答响应。最后汇总起来一起告知客户端传递好了

  8. 不是第一个节点的数据传递好了才传给第二个节点的,而是三个节点几乎是同时进行的

读取流程

流程:

  1. 客户端向服务器端索要数据

  2. NameNode 先校验权限,接着从自己的内存中查看这个文件分别存储在哪些节点上,然后将这个信息告知给 Client

  3. Client 客户端拿到元数据之后,去各个节点上去拉取数据(不是副本)

  4. 将拉去的各个块的信息汇总起来,形成一个新的文件,就是我们想要的文件。

  • 10
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值