5.客户端根据NameNode返回的位置信息，建立数据流管道pipeline。
6.然后客户端开始写数据。写过程有3层buffer，以chunk,packet,data queue三个粒度做三层缓存。
- 输出流DFSOutputStream读取block数据，将数据写到chunk(512字节大小)，当写满一个chunk后，会调用关于crc32的校验方法进行数据校验，生成一个4字节的checksum校验文件。然后将chunk和checksum共516字节，放进packet。
- 当一个chunk和checksum放进入packet后，不会立即发送，而是累积到一个packet填满后，将这个packet放入dataQueue队列。
- 进入dataQueue队列的packet会被另一线程按序取出沿着建立的管道发送到DataNode。传输的顺序是按NameNode的addBlock()方法返回的列表依次传输。
dataQueue往DataNode传输的同时，也往确认队列ack queue传输作为备份。（ackQueue中存储的都是待确认的packet，如果数据包发出去之后流水线失败，得不到确认。数据包可以从ackQueue恢复，不至于以前的Packet丢失。）
针对DataNode中传输完成的数据做一个checkSum，并与原本打包前的checkSum做一个比较。校验正确的结果 ACK 是反着 pipeline 方向 返回来的，DataNode3—>DataNode2–>DataNode1。每个 DataNode 传输情况都正常，ACK 才能返回给客户端，DFSOutputStream会有一个ResponseProcessor线程用来接收ACK。如果收到成功的ACK，ResponseProcessor线程会将确认队列ackQueue中删除对应的package，如果写入失败，会将ackQueue里的package置入 data Queue重传。
当该block的所有package发送完毕。即DataNode1、DataNode2和DataNode3都存在该block的完整副本，则三个DataNode分别调用NameNode的 blockReceivedAndDeleted方法。NameNode会更新内存中DataNode和block的关系。Client客户端关闭同DataNode建立的pipeline。
7.如果这个文件还有其它的块 block，则重新执行上面的 3-6 步骤，直到文件传输完成。
8.全部数据输出完成，关闭数据流调用FSDataOutputStream的 close 方法。
9.客户端调用NameNode的 complete 方法，通知NameNode全部数据输出完成。
纯属于个人通过搜索资料整理备忘，如有侵权，请联系删除！
参考资料：
太强了，HDFS写入流程原理_hdfs 本地 直接 写-CSDN博客
带你入坑大数据（二） — HDFS的读写流程和一些重要策略 - 掘金
HDFS读写流程分析+源码解读_hdfs数据读写过程代码-CSDN博客
API实现HDFS的读写数据流JAVA代码及流程详解_完成程序填空,使用字符流读取数据将hdfs中指定文件输出到指定文件中-CSDN博客关于HDFS的 block、packet与chunk详解 - 程序员大本营
HDFS写流程源码分析（一）-客户端_hdfs代码分析-CSDN博客
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
99
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
