HDFS文件的写入和读取过程

本文详细介绍了HDFS文件的写入和读取过程。在文件写入时,Client通过RPC与NameNode交互,NameNode根据备份数量分配DataNode,建立pipeline进行数据传输。文件读取时,Client向NameNode请求文件block位置,选择最近的DataNode读取数据,确保高效和容错。整个过程涉及RPC通信、数据分块、pipeline传输和故障恢复机制。
摘要由CSDN通过智能技术生成
HDFS文件写入

  1. Client 发起文件上传请求, 通过 RPC 与 NameNode 建立通讯
  2. NameNode 检查目标文件是否已存在, 父目录是否存在, 返回是否可以上传
  3. Client 请求上传第一个 block
  4. NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分配, 返回可用的 DataNode 的地址如(默认备份数量为3)
  5. Client 请求 3 台 DataNode 中的一台 A Client 请求 3 台 DataNode 中的一台 A 上传数据(本质上是一个 RPC 调用,建立 pipeline ), A 收到请求会继续调用 B, 然后 B 调用 C, 将整个 pipeline 建立完成, 后逐级返回 client(本质上是一个 RPC 调用,建立 pipeline ), A 收到请求会继续调用 B, 然后 B 调用 C, 将整个 pipeline 建立完成, 后逐级返回 client
  6. Client 开始往 A 上传第一个 block(先从磁盘读取数据放到一个本地内存缓存), 以 packet 为单位(默认64K), A 收到一个 packet 就会传给 B, B 传给 C. A 每传一个 packet 会放入一个应答队列等待应答
  7. 数据被分割成一个个 packet 数据包在 pipeline 上依次传输, 在 pipeline 反方向上, 逐个
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值