HDFS的具体读、写、删除操作流程

本文详细介绍了HDFS的读取、写入和删除流程。读取时,客户端通过RPC请求NameNode获取文件块存储路径,遍历并读取所有文件块。写入时,客户端切分文件并以pipeline方式写入DataNode,确保复本数量。删除操作中,NameNode标记待删除数据块,DataNode在心跳时接收删除指令。NameNode在整个过程中仅负责地址管理和元数据更新,提高了并发处理能力。
摘要由CSDN通过智能技术生成

一、读取流程
在这里插入图片描述

·  1.客户端通过RPC(远程过程调用,特点:能够让客户端人员更加注重业务流程,而不是文件的发送)请求访问NameNode
NameNode查询元数据,获取到文件的存储路径,将文件的所对应全部或者部分(面对多个文件块)文件块的存储路径放入一个队列中再发送给客户端(NameNode给client返回的是内网IP,如果是自己的云主机,要去找对应的vpn,否则无法访问。)
  2.客户端收到队列之后,一次遍历队列,读取文件块
  3.客户端从队列中获取到第一个文件块的存储位置,从中选出一个最近的DataNode(客户端到机架的网络距离的远近:响应速度的快慢)来进行读取
  4.读取完成之后校验文件块的大小是否符合,如果符合,则继续读取第二个文件块;如果不符合,通知NameNode当前文件块已经损坏,然后从其他节点重新读取当前的文件块
  5.当客户端将这个文件块全部读取完成之后,会再次访问NameNode请求下一批文件块的地址
  6.当客户端读取完所有的文件块之后,通知NameNode关闭文件
这种方式是为了提高NameNode的并发量

二、写入流程
在这里插入图片描述

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值