【HDFS】PacketResponder线程相关

已于 2023-11-01 21:02:00 修改
阅读量105 收藏
点赞数
分类专栏： HDFS全方位实战 文章标签： hdfs hadoop 大数据
于 2023-08-29 14:47:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiguafu/article/details/128992973
版权
HDFS全方位实战 专栏收录该内容
170 篇文章 147 订阅 ¥29.90 ¥99.00
订阅专栏
  • 核心成员变量ackQueue
  • 核心函数enqueue、sendAckUpstreamUnprotected、waitForAckHead

PacketResponder线程什么时候启动的？
直接找new PacketResponder关键字。发现是在receiveBlock方法里。这个receiveBlock方法又在writeBlock方法内部。

      // 如果是客户端写、并且不是transfer的情况，才启动PacketResponder线程。
      if (isClient && !isTransfer) {
   
        responder = new Daemon(datanode.threadGroup, 
            new
了解本专栏 订阅专栏 解锁全文
叹了口丶气
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【HDFS】Hadoop RPC中的Responder、Listener、Reader、Handler
Badme
06-26 424
【HDFS】Hadoop RPC中的Responder、Listener、Reader、Handler
hadoop源码解析之hdfs写数据全流程分析---datanode处理
公众号[大数据技术与应用实战]，分享大数据实战案例
07-15 2294
概述因为在hdfs这样一个复杂的分布式文件系统中，每个文件都是由多个block组成的，每个block又有多个副本，这些副本分布在不同的机器上，所以对于hdfs的写操作流程，就算不考虑异常的处理，其实该流程也是hdfs中最复杂的流程了。
DataXceiver写数据的过程详解
欲问君有几多愁的博客
03-15 913
在上篇文章中，已经介绍了DataXceiver读取数据的详细过程。这篇文章就讲解一下流式接口向数据节点写数据的操作，DataTransferProtocol.write（）方法给出了写操作的接口定义，操作码是80，DataXceiver.writeblock（）则真正实现了DataTransferProtocol.writeblock（）方法。 我们知道，HDFS使用数据流管道来写数据，DFSC...
DataNode DataXceiverServer writeBlock详解
METON的博客
08-16 964
在客户端写hdfs文件的过程中，其会将数据以packet包的形式向DataNode发送，DataNode在接收到这个packet包时，会进行将该packet写入本地磁盘，之后便向数据流管道中的下游数据节点继续发送该数据包；并会接收来自下游数据节点的数据包确认消息。这个确认消息会逆向的通过数据流管道送回到客户端client端。接下来详细分析一下在客户端写过程中，DataNode上所进行的操作流程。 基本的客户端写流程已经在上篇博文中给出：Hdfs 客户端写过程 源码解析 DataNode上的...
HDFS——写文件流程
hncscwc的博客
08-06 1778
上篇文章讲了数据传输的格式，本文就来说说hdfs中写文件的流程。hdfs客户端写文件的流程，大体可以分为两个步骤：第一步是创建或打开文件，第二步是进行block的写操作。block的写操作...
HDFS命令指南相关学习
10-22
在大数据处理领域，Hadoop HDFS（Hadoop Distributed File System）是核心组件之一，它提供了分布式存储的能力。本文将深入探讨HDFS的一些基本命令，帮助用户更好地管理和操作HDFS中的数据。 1. `appendToFile`命令...
14、HDFS 透明加密KMS
最新发布
05-29
【HDFS 透明加密KMS】是Hadoop分布式文件系统（HDFS）提供的一种安全特性，用于保护存储在HDFS中的数据，确保数据在传输和存储时的安全性。HDFS透明加密通过端到端的方式实现了数据的加密和解密，无需修改用户的应用...
4、datax同步sybase相关-sybase到hdfs
05-29
【DataX 同步 Sybase 数据到 HDFS】 DataX 是阿里巴巴开源的一款高效、稳定、可靠的批处理数据同步工具，支持多种数据源之间的数据迁移。本篇主要介绍如何使用 DataX 将 Sybase 数据库中的数据同步到 Hadoop 分布式...
3、通过datax同步oracle相关-oracle到hdfs
05-29
在同步完成后，可以通过HDFS命令行或者Hadoop相关工具验证数据是否正确无损地导入到HDFS中。 综上所述，通过DataX进行Oracle到HDFS的数据同步，不仅简化了数据迁移过程，还提高了数据传输的效率和可靠性。在实际...
HDFS简介
01-07
一、HDFS的简介 分布式文件系统 HDFS Hadoop Distributed FileSystem 基于流数据访问模式处理超大规模的文件 适合应用大规模的数据集上 HDFS的优点 1）处理超大规模的文件 2）处理结构化，半结构化，非结构化的数据 ...
HDFS之DataNode工作原理超全总结
落枫寒的博客
07-27 1万+
本文系统的总结了DataNode的主要知识点，包括启动流程、磁盘存储的文件结构及功能特点、如何对磁盘目录和块进行管理、流式接口的实现以及读写数据的流程等。
hadoop 日志分析程序
bluetropic的专栏
07-19 1840
实战2——Hadoop的日志分析 1). 日志格式分析 首先分析 Hadoop 的日志格式, 日志是一行一条, 日志格式可以依次描述为:日期、时间、级别、相关类和提示信息。如下所示:  2013-03-06 15:23:48,132 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: /**
hadoop 写操作的完整笔记
iteye_14249的博客
10-16 545
原创 转载请注明出处 http://baishuo491.iteye.com/blog/1958649 作者邮箱：vc_java@hotmail.com Create操作 1.String clientMachine = getClientMachine(); 2.namesystem.startFile(src,new PermissionStatus(UserGr...
Hadoop源码分析——数据节点写数据2
lfdanding的专栏
06-22 6959
数据接收 客户端写往数据节点的数据由org.apache.hadoop.hdfs.server.datanode.BlockReceiver.java中的receiveBlock方法接收 void receiveBlock( DataOutputStream mirrOut, // output to next datanode DataInputStream mirrIn
Hadoop：HDFS文件存取机制
oraclestudyroad的博客
07-28 693
Hadoop培训认证：HDFS文件存取机制，一个分布式文件系统最基本的功能就是读和写，本节将描述HDFS的文件存取机制。 1.HDFS读文件数据流 在读取HDFS的文件时，首先客户端调用FileSystem的open( )函数打开文件，DistributedFileSystem用RPC调用元数据节点，得到文件的数据块信息。对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。Di
DataNode节点上数据块接收器——BlockReceiver
xhh198781的专栏
01-12 5684
在前面的博文中详细地讲到了DataNode如何向客户端或者其它DataNode节点发送数据块Block的，即数据块发送器BlockSender，那么对应的，DataNode节点或者客户端就应该能够正确地接受数据块，也就是我们将要讲到的数据块的接收器BlockReceiver。当然，HDFS客户端和DataNode节点接收Block的方式有所不同，不过本文将主要讲解DataNode节点上的数据块接收
Hadoop源代码分析(完整图文版) part 1
热门推荐
集成显卡的开源主页 https://github.com/0604hx
11-26 1万+
Hadoop源代码分析（一） 关键字: 分布式 云计算  Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。  GoogleCluster： http://research.google.com/archive/googlecluster.html  Chubby：http://labs.google.com/papers/chubb
hadoop08-HDFS的写数据流程(源码)
yangqian1794的博客
04-18 258
其实这个流程里面有很多我们值得学习的东西，比如写数据到 DataNode，如何保障数据一致性，如何保障数据在写的时候不丢失，重试如何做的，如何做三备份的？ 那么这次咱就趴一趴 HDFS 的写数据流程吧。 二、往 HDFS 写数据的客户端代码 我们用 HDFS 的 api ，从一个写数据的代码开始剖析这个过程： public class TestWriteHdfsFile { public static void main(String[] args) throws IOException {
Hadoop HDFS安装与管理详解
下面是Hadoop_HDFS安装和管理的相关知识点： 1. 环境准备 在安装HDFS之前，需要进行环境准备，包括安装Java、SSH、设置主机名等。环境准备是HDFS安装的前提条件，需要确保所有节点的环境都已经准备好。 2. HDFS...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叹了口丶气

觉得有收获就支持一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值