【精】彻底吃透HDFS写流程（5）-- DataStreamer线程类run方法分析以及如何构建pipeline？

最新推荐文章于 2023-03-14 19:58:54 发布
最新推荐文章于 2023-03-14 19:58:54 发布
阅读量1.8k 收藏
点赞数
分类专栏： HDFS全方位实战 文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiguafu/article/details/121956802
版权
HDFS全方位实战 专栏收录该内容
171 篇文章 147 订阅 ¥29.90 ¥99.00
订阅专栏
本文深入剖析HDFS写入流程中的DataStreamer线程run方法，重点探讨如何构建数据写入pipeline。从nextBlockOutputStream方法开始，详细解释了addBlock RPC在选择目标Datanode的逻辑，以及通过createBlockOutputStream方法与Datanodes建立Socket连接，形成pipeline的过程。后续文章将详细讲解addBlock RPC和数据落盘机制。
摘要由CSDN通过智能技术生成

有关HDFS写流程的系列文章：
【精】彻底吃透HDFS写流程（1）–BlockConstructionStage
【精】彻底吃透HDFS写流程（2）-- Namenode侧create文件
【精】彻底吃透HDFS写流程（3）-- DataStreamer线程和输出流write方法简要分析
【精】彻底吃透HDFS写流程（4）-- 输出流DFSOutputStream#write方法分析
【精】彻底吃透HDFS写流程（5）-- DataStreamer线程类run方法分析以及如何构建pipeline？
【精】彻底吃透HDFS写流程（6）-- addBlock RPC
【精】彻底吃透HDFS写流程（7）-- 客户端sendPacket以及相关输入输出流的对应关系

了解本专栏 订阅专栏 解锁全文
叹了口丶气
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
HDFS Ozone的Pipeline实现机制
走在前往架构师的路上
09-17 1854
前言 在现有HDFS中，每个副本块默认有3个副本，我们都知道这是为了容错而设计的。为了保持这3个副本的数据一致性，HDFS每次对数据进行写操作的时候，都是以Pipeline的方式进行更新。你可以理解为是一种流水线的方式：R1–>R2–>R3。中间如有一个环节出现问题，那么这次Pipeline更新就得重新来过。在HDFS对象存储服务Ozone中，同样会遇到多副本更新一致性的问题，所以它也需要有
【精】彻底吃透HDFS写流程（3）-- DataStreamer线程和输出流write方法简要分析
Badme
12-15 2187
【精】彻底吃透HDFS写流程（3）-- DataStreamer线程和输出流write方法简要分析
hadoop 2.6 源码 解读之写操作之DataStreamer篇
zhixingheyi_tian的博客
05-22 1435
DataStreamer是 在创建 文件流的时候已经初始化 DFSClient create()方法中 { final DFSOutputStream result = DFSOutputStream.newStreamForCreate(this, src, masked, flag, createParent, replication, blockSize, p...
向HDFS上传文件时报错16/07/23 01:13:30 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.Rem
机器学习菜鸟
07-23 8065
16/07/23 01:13:30 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /test.txt could only be replicated to 0 nodes, instead of 1         at
HDFS pipeline写 -- datanode
weixin_30872733的博客
12-02 174
站在DataNode的视角，看看pipeline写的流程，本文不分析客户端部分，从客户端写数据之前拿到了3个可写的block位置说起。 每个datanode会创建一个线程DataXceiverServer，接收上游过来的TCP连接，对于每个新建的TCP连接,都会创建一个叫做DataXceiver的线程处理这个连接. 这个线程不断的从TCP连接中读op，然后调用processOp(op)处理这个op...
2021-12-23 hadoop3 写数据流程（三）：DataStreamer
cn987654的博客
12-23 1660
1 概述 见名知意，此类主要用于数据传输，是一个守护线程，在创建DFSOutputStream的过程中被启动，启动之后再run方法之中使用一个while死循环（直到流或者客户端关闭）才停止运行，里面主要的逻辑是通过维护一个dataQueue队列，等待主线程往其中添加packet数据，等到添加了packet数据之后，会触发数据的发送，将数据发送到对应pipeline对应的dn之中，从而完成数据的传输。 2 源码分析 2.1 DataStreamer的前提调用 根据前文，在DFSOutputStream
配置HDFS HA，遇到WARN hdfs.DFSClient: DataStreamer Exception
qq_58356165的博客
12-08 1514
配置HDFS HA，遇到WARN hdfs.DFSClient: DataStreamer Exception
hdfs.DataStreamer: Exception in createBlockOutputStream blk_1073741891_1096java.io.IOException: Got
zhongmingyu
03-14 1762
erasurecode.ErasureCodeNative: ISA-L support is not available in your platform... using builtin-java codec where applicable 2023-03-14 19:40:43,567 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted =
HDFS 客户端常见报错整理
eli的博客
11-16 4141
向 NameNode 进行 RPC 请求向 DataNode 进行 IO 读写。无论哪个过程，如果出现异常，一般都不会导致业务失败，也都有重试机制，实际上，业务想要失败是很难的。在实际使用过程中，客户端和 NN 之间的 RPC 交互一般不会有什么报错，大部分报错都出现在和 DN 的 IO 交互过程中，这篇文章主要总结一下常见的 DN IO 报错。
Hadoop Pipeline详解
快乐程序员的专栏
11-26 7034
大牛同事的博客转载一下，方便查阅 转载地址：http://dj1211.com/?p=178#more-178 一、说明 Hadoop 2.x相比较于1.x有了较大的改变，像MapReduce层面架构以及代码基本上是完全重写的，在HDFS层面加入了HA，Federation等特性，代码更加层次化和易读，同时加入的PB初期可能给阅读带来障碍，熟悉之后就没有太大问题了。 Pipeline一
HDFS写数据为什么不直接分发给三个节点，而是构建pipeline管道？
chen7588693的博客
09-26 721
HDFS写数据为什么不直接分发给三个节点，而是构建pipeline管道？ HDFS数据写入时是构建一个pipeline，将数据先写入第一个节点，然后第一节点写给第二节点，然后第二节点写给第三节点，然后写入才完成。如果是同步的，每次写操作都必须要等待第三个节点写完并返回成功后才能写下一条数据，那么确实和直接分发给三个节点是一样的。 如果写给第一个节点后，write即可返回，进行下一次写操作了。这时，第一个节点一边在给下一个节点写数据，一边在接收client传来的数据。同时利用了输入输出带宽。假设每次从一个节点
hadoop java 读写入文件_java-Hadoop 2.5.0无法远程写入文件
weixin_39905037的博客
02-23 353
在远程使用Hadoop Java API将文件放入HDFS 2.5.0 Single Node Hadoop Docker Container时遇到问题.在Hadoop系统上运行时,我可以将本地文件复制到hdfs中而没有问题.但是,在尝试将数据放入文件时,远程出现了问题.我得到以下异常：Exception in thread "main" org.apache.hadoop.ipc.RemoteE...
HDFS Pipeline写
12-02 878
站在DataNode的视角，看看pipeline写的流程，本文不分析客户端部分，从客户端写数据之前拿到了3个可写的block位置说起。 　　每个datanode会创建一个线程DataXceiverServer，接收上游过来的TCP连接，对于每个新建的TCP连接,都会创建一个叫做DataXceiver的线程处理这个连接. 这个线程不断的从TCP连接中读op，然后调用processOp(op)处理这
Hadoop架构: 流水线(PipeLine)
weixin_28977419的博客
11-01 673
该系列总览:Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 流水线(PipeLine)，简单地理解就是客户端向DataNode传输数据(Packet)和接收DataNode回复(ACK)[Acknowledge]的数据通路。 整条流水线由若干个DataNode串联而成，数据由客户端流向PipeLine，在流水线上，假如DataNode A 比 DataNode B 更接近流水线 那么称A在B的上游(Upstream)，称B在A的下游(Downstre...
hdfs pipeline recovery流程解析
breakout_alex的博客
07-22 575
PipelineRecovery 流水线是由DataNode串联而成的，就像一条水管，数据（Packets）从一端流进去，依次经过流水线上的各个DataNode，当最后一个DataNode收到数据，将会发出ACK(Acknowledge)给前一个 DataNode，前一个DataNode收到ACK后又会向前一个DataNode发送ACK。回复(ACK)相反地从尾端流回执行写操作的客户端。那么，只要是流水线上一个DataNode宕机了，都会导致整个PipeLine的DataStream无法正常运转。就像.
HDFS执行机制之Write
白鸽
11-08 416
此时，我们的packet已经进入了dataQueue, 而DataStreamer的run(),就算等待着dataQueue的数据，DataStreamer拿取到数据之后，将数据发送给DataNote
Hadoop源码解读
管子（zero）的杂乱空间
01-06 722
Hadoop源代码分析（一） 关键字:分布式云计算 完整文章及图，在我的资源里面，可以去下载。Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：http://research.google.com/archive/googlecluster.html Chubby：http://labs.google.c...
Hadoop异常 hdfs.DFSClient: DataStreamer
wickedvalley
06-15 3439
机器环境：ubuntu 11.10 64位 hadoop版本：1.0.1   按照http://hadoop.apache.org/common/docs/stable/single_node_setup.html上描述做单击为分布式测试时抛异常： root@ubuntu:~/sse/hadoop/hadoop-1.0.1# bin/hadoop fs -put conf
【BugFix】IDEA控制台无输出问题的解决
Badme
10-20 4271
【BugFix】IDEA控制台无输出问题的解决
hdfs dfs -du -h 的使用方法
最新发布
05-25
"hdfs dfs -du -h" 是一个 Hadoop 命令，用于查看指定路径下的所有文件和目录的大小。其中，-du 表示显示目录和文件的大小，-h 表示以人类可读的方式显示文件大小。 使用方法如下： 1. 打开终端或命令行界面。 2. 输入命令 "hdfs dfs -du -h [path]"，其中 [path] 是要查看的目录路径，可以是相对路径或绝对路径。 3. 按回车键执行命令，系统会列出指定目录下的所有文件和目录的大小，以人类可读的方式显示。 例如，要查看 HDFS 中 /user/hadoop 目录下所有文件和目录的大小，可以输入以下命令： ``` hdfs dfs -du -h /user/hadoop ``` 执行后，系统会显示出该目录下所有文件和目录的大小，例如： ``` 90.7 K /user/hadoop/file1.txt 2.1 M /user/hadoop/directory1 1.2 G /user/hadoop/bigfile.bin ``` 其中，文件和目录名在前面，大小在后面，单位为字节、千字节、兆字节或吉字节。由于加了 -h 参数，所以文件大小以人类可读的方式显示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叹了口丶气

觉得有收获就支持一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值