hdfs写流程

11 篇文章 0 订阅
11 篇文章 2 订阅

流程图如下:
在这里插入图片描述

  1. Client调用FileSystem.create(filePath),去与NN节点进行RPC通信,check该路径下的文件是否已经存在?是否有权限创建该文件?假如OK,就创建一个新的文件,但是不关联任何的block,返回一个FSDataOutputStream对象;假如不OK,就返回错误信息
  2. Client调用FSDataOutputStream对象的write方法,将第一个块写入第一个DN,第一个DN写完就传输给第二个DN,第二个DN写完就传输给第三个DN,当第三个DN写完,就返回一个ack packet给第二个DN,当第二个DN接受到第三个的DN的ack packet,就发送ack packet 给第一个DN,当第一个DN接受到第二个的DN的ack packet,就返回ack packet 给FSDataOutputStream对象,意思标识第一个块 三个副本写完;然后其余的块依次这样写
  3. 当文件全部写完,Client调用FSDataOutputStream对象的close方法,关闭输出流,flush缓存区的数据包。
  4. 再调用FileSystem.complete(),告诉NN节点写入成功。(对于操作来说 无感知 透明的)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值