HDFS写入流程详解


1.客户端向NameNode申请上传文件
2.NameNode判断文件是否已经存在,只有当文件不存在时才可以上传
3.如果文件不存在,NameNode返回可存储文件的DataNode节点信息
4.客户端尝试向DataNode建立通信管道,客户端只会向一个节点发送请求,由该节点继续向后续节点发送连接请求。
5.所有被连接的DataNode逐级应答客户端,通信管道建立成功
6.当所有通信管道建立成功后,客户端开始向DataNode上传数据,DataNode收到数据后,先保存在缓存中,并写入本地磁盘的同时向后续DataNode 发送数据,后续DataNode重复上一个节点的步骤,直到最后一个节点。

注:文件在上传的之前首先会被切分成数据块(Block),一个Block在上传的时候以数据包(Packet)为单位进行上传。

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值