HDFS写文件流程

HDFS写入文件流程图如下:

在这里插入图片描述

1 客户端调用Distributed FileSystem.create(path)方法,与NameNode进行RPC通信,参数为路径path。检查传入的路径是否存在,以及当前用户是否有写入权限。
假如都满足,就创建一个新的文件,但是此时并不关联任何的block。并且返回FsDataOutputStream对象。
如果有一个不满足,返回错误信息。
注意:写文件调用对象是FsDataOutputStream,读文件是调用FsDataInputStream
2 client调用FsDataOutputStream的write方法,将第一个块写给DN1,当DN1写完后,DN1复制给DN2,当DN2写完后,DN2复制给DN3。
当DN3写完后,DN3返回一个ack packet确认包给DN2
当DN2 接收到ack后,发送一个ack packet给DN1
当DN1接收到ack后,发送一个ack packet给FsDataOutputStream对象,标识第一个块三个副本全部写完。
其他的数据块写入流程一样。
3 当文件全部写完,client调用FsDataOutputStream对象的close方法,关闭输出流,flush缓存区的数据包
4 调用Filesystem.complete方法,告诉NameNode,文件写入完成。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值