HDFS的写数据流程(上传文件)

元旦回来又废了,惰性又回来了,今天学习的时候发现前几天学的东西居然忘记了,这可不妙,赶紧复习一下,写个博客记录一下。
言归正传,今天说一下HDFS的写数据流程(上传文件),如图所示:

在这里插入图片描述

1)客户端向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。
2)namenode返回是否可以上传。
3)客户端请求第一个 block上传到哪几个datanode服务器上。
4)namenode返回3个datanode节点,分别为dn1、dn2、dn3。
5)客户端请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成
6)dn1、dn2、dn3逐级应答客户端
7)客户端开始往dn1上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位,dn1收到一个packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答
8)当一个block传输完成之后,客户端再次请求namenode上传第二个block的服务器。(重复执行3-7步)

本人认为这个非常的重要,所以建议大家可以背下来
非常重要!!!
非常重要!!!
非常重要!!!
重要的事情说三遍

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFSHadoop Distributed File System)是Apache Hadoop的一部分,是一个可扩展的分布式文件系统,用于存储和处理大型数据集。HDFS上传文件流程如下: 1. 客户端向NameNode发出上传请求,并提供要上传的文件路径和文件块大小等信息。 2. NameNode接收到客户端的上传请求后,首先检查该文件是否已经存在于HDFS中,如果存在则返回错误信息,否则在内存中创建该文件的元数据信息,并返回给客户端一个DataNode列表。 3. 客户端根据返回的DataNode列表,选择一个DataNode作为数据块的上传目标,并向该DataNode发出上传请求。 4. DataNode接收到客户端的上传请求后,创建一个临时文件用于存储上传的数据块,并返回一个用于后续数据块传输的随机端口号。 5. 客户端通过随机端口号与DataNode建立Socket连接,并向DataNode传输数据块。 6. DataNode接收到客户端传输的数据块后,将该数据入临时文件中,并返回上传成功的响应信息。 7. 客户端在完成对数据块的上传后,向NameNode发送一个完成上传的请求,NameNode接收到该请求后,将所有数据块的信息保存在该文件的元数据信息中,并将元数据信息持久化到磁盘中,从而完成整个文件的上传过程。 需要注意的是,如果上传的文件大小超过了HDFS的块大小,则会将文件分成多个数据块进行上传,每个数据块都会分别上传到不同的DataNode上,并且每个数据块上传完成后都需要向NameNode发送一个完成上传的请求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值