HDFS写入流程(1)，大数据开发高级面试题2024

最新推荐文章于 2024-10-08 12:29:56 发布

2401_84166258

最新推荐文章于 2024-10-08 12:29:56 发布

阅读量590

点赞数 12

分类专栏： 2024年程序员学习文章标签：大数据 hdfs hadoop

本文链接：https://blog.csdn.net/2401_84166258/article/details/137763747

版权

2024年程序员学习专栏收录该内容

84 篇文章 0 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

如果NameNode的create()方法没有抛出异常，DistributedFileSystem的creat()方法会返回一个FSDataOutputStream输出流对象。

FSDataOutputStream out = fs.create(new Path("/root/test3.txt"));

3.客户端会调用输出流对象的write()方法，这个方法会通过RPC的方式调NameNode的addBlock()方法。向NameNode申请上传数据块（申请Block的写入节点列表）。

4.NameNode会返回给客户端一个LocatedBlock对象，这个对象包含的主要信息是这个这个block要存储在哪三个DataNode节点上。

5.客户端根据NameNode返回的位置信息，建立数据流管道pipeline。

6.然后客户端开始写数据。写过程有3层buffer，以chunk,packet,data queue三个粒度做三层缓存。

输出流DFSOutputStream读取block数据，将数据写到chunk(512字节大小)，当写满一个chunk后，会调用关于crc32的校验方法进行数据校验，生成一个4字节的checksum校验文件。然后将chunk和checksum共516字节，放进packet。
当一个chunk和checksum放进入packet后，不会立即发送，而是累积到一个packet填满后，将这个packet放入dataQueue队列。
进入dataQueue队列的packet会被另一线程按序取出沿着建立的管道发送到DataNode。传输的顺序是按NameNode的addBlock()方法返回的列表依次传输。

dataQueue往DataNode传输的同时，也往确认队列ack queue传输作为备份。（ackQueue中存储的都是待确认的packet，如果数据包发出去之后流水线失败，得不到确认。数据包可以从ackQueue恢复，不至于以前的Packet丢失。）

针对DataNode中传输完成的数据做一个checkSum，并与原本打包前的checkSum做一个比较。校验正确的结果 ACK 是反着 pipeline 方向返回来的，DataNode3—>DataNode2–>DataNode1。每个 DataNode 传输情况都正常，ACK 才能返回给客户端，DFSOutputStream会有一个ResponseProcessor线程用来接收ACK。如果收到成功的ACK，ResponseProcessor线程会将确认队列ackQueue中删除对应的package，如果写入失败，会将ackQueue里的package置入 data Queue重传。

当该block的所有package发送完毕。即DataNode1、DataNode2和DataNode3都存在该block的完整副本，则三个DataNode分别调用NameNode的 blockReceivedAndDeleted方法。NameNode会更新内存中DataNode和block的关系。Client客户端关闭同DataNode建立的pipeline。

7.如果这个文件还有其它的块 block，则重新执行上面的 3-6 步骤，直到文件传输完成。

8.全部数据输出完成，关闭数据流调用FSDataOutputStream的 close 方法。

9.客户端调用NameNode的 complete 方法，通知NameNode全部数据输出完成。