大数据-hdfs-文件写入流程-详解

在这里插入图片描述
详细步骤解析:
1.Client客户端发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已经存在,父目录是否存在,然后返回是否可以上传;

2.Client请求第一个block数据块该传输到哪些DataNode节点(服务器)上;

3.NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配,返回可用的DataNode的地址如:A,B,C;

4.Client请求3台DataNode中的一台A上传数据(本质上是一个RPC调用,建立pipeline),A收到请求会继续调用B,然后B调用C,将整个pipeline建立完成,然后逐级返回到Client

5.Client开始往A上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位(默认64K),A收到一个packet就会传给B,然后B传给C,A每传一个packet会放入一个应答队列等待应答。

6.数据被分割成一个个packet数据包在pipeline上依次传输,在pipeline反方向上,逐个发送ack(命令正确应答),最终由pipeline中的第一个DataNode节点A将pipeline发送给Client

7.关闭写入流

8.当一个block传输完成之后,client再次请求NameNode上传第二个block到服务器

注释:如果是以客户端Client为中心,FSData应该是OutputStream输出流,从Client输出数据到节点上;如果以节点为中心,FSData就应该是IutputStream输入流,从Client输入数据到节点中!!!
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值