hdfs数据块间的传输(Sender与DataXceiverServer交互)

最新推荐文章于 2024-02-04 13:51:00 发布
最新推荐文章于 2024-02-04 13:51:00 发布
阅读量227 收藏
点赞数
分类专栏： # hdfs源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41634872/article/details/106624969
版权 
详情参见《Hadoop 2.X HDFS源码剖析》4.5节
Sender类和DataXceiver类都实现了DataTransferProtocol接口，Sender在Client端，将参数与调用方法
序列化，然后通过连接发送到datanode。DataXceiverServer类相当于一个ServerSocket,随着DataNode
建立而建立，逻辑很简单，循环accept,接收到一个后便初始化一个Peer(代表一个连接，相当于一个Socket)
和DataXceiver，并启动DataXceiver，然后反序列化数据，调用相应的方法，然后利用BlockSender往外发送数据
和BlockReciver接收数据，利用datanode进行transferData

在这里插入图片描述

韩运畅
关注
专栏目录
【精】HDFS DataTransferThrottler限流器机制
Badme
02-23 407
【精】HDFS DataTransferThrottler限流器机制
Hadoop系列之HDFS 数据块(12)
热门推荐
01-24 6万+
HDFS 数据块 要把大文件存储在 HDFS上，HDFS 会把大文件分割成小块，即我们通常说的数据块（ block ），它是 Hadoop 分布式文件系统最小的存储单元，而且我们没办法决定指定块的存储节点地址，这些 Namenode 会替我们决定。数据块默认大小是 128MB，比操作系统里面的块概念要大很多（操作系统块大小是 4KB ），我们可以根据实际需求修改 HDFS 块大小。文件的所有数据块大小都是一样的，除了最后一个，它可能小于块大小或者刚好等于块大小。文件会被分割成若干个 128MB 的小数据块，
HDFS源码分析之DataXceiverServer
weixin_34112208的博客
03-08 250
DataXceiverServer是Hadoop分布式文件系统HDFS的从节点--数据节点DataNode上的一个后台工作线程，它类似于一个小型的服务器，被用来接收数据读写请求，并为每个请求创建一个工作线程以进行请求的响应。那么，有以下几个问题： 1、DataXceiverServer是什么？ 2、Dat...
Hadoop3.2.1 【 HDFS 】源码分析 Sender和Receiver解析
张伯毅的专栏
11-20 4578
..........................................一.前言二.调用流程三.Sender类四.Receiver 类 一.前言 DataTransferProtocol有两个子类——Sender和Receiver。 其中Sender类封装了DataTransferProtocol的调用操作， 用于发起流式接口请求； Receiver类封装了DataTransferProtocol的执行操作， 用于响应流式接口请求。 二.调用流程 DFSClient发起了一个DataTrans
Hadoop3.2.1 【 HDFS 】源码分析 : DataXceiverServer 解析
张伯毅的专栏
11-21 4274
一. 前言 DataXceiverServer对象用于在Datanode上监听流式接口的请求， 每当有Client通过Sender类发起流式接口请求时， DataXceiverServer就会监听并接收这个请求， 然后创建一个DataXceiver对象用于响应这个请求并执行对应的操作。 二.DataXceiverServer的初始化 在DataNode的初始化代码中， 会创建一个DataXceiverServer对象监听所有流式接口请求， Datanode会调用Datanode.initDataXceiv
HDFS源码分析DataXceiver之读数据块
weixin_33805557的博客
03-12 215
在《HDFS源码分析DataXceiver之整体流程》一文中我们知道，无论来自客户端还是其他数据节点的请求达到DataNode时，DataNode上的后台线程DataXceiverServer均为每个请求创建一个单独的后台工作线程来处理，这个工作线程就是DataXceiver。并且，在线程DataXceiver处理请求的主方法run(...
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结
最新发布
赵英超的博客
02-04 2162
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要优化 hdfs 存取速度，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以解决一块磁盘空间不够的问题。大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
DataX实现MySQL与HDFS/Hive间的数据迁移流程详解
本文档将介绍如何使用DataX实现MySQL与HDFS、Hive之间的数据迁移过程。 1. MySQL到HDFS的数据迁移 在进行MySQL到HDFS的数据迁移时，首先需要了解DataX的迁移机制。在DataX的作业配置文件（json格式）中，定义了数据...
HDFS数据跨区域存储分布
走在前往架构师的路上
09-19 2429
文章目录前言跨区域存储和跨rack存储的区别HDFS跨区域存储实现 前言 在上篇文章HDFS多rack分布的block placement policy设计实现里，笔者探讨了HDFS数据副本跨多rack分布的新placement方案，以此来提高数据的可用性。因为在日常集群运行过程中，是可能存在因为集群的操作维护导致短时间内一整个rack处于停服务状态的。按照HDFS三副本的存放策略，一整个rack离线意味着2/3的拷贝丢失了，这将极大增加数据不可访问的概率。本文我们来继续深入探讨这一话题，既然数据副本已经能
Hadoop源码分析HDFS数据流
08-21
DataXceiver 是真正处理数据流的组件，它支持六种操作：写数据块、读数据块、读数据块元文件、替换数据块、拷贝数据块和读数据块checksum。 在写数据块的过程中，客户端首先向 Namenode 申请写入文件，Namenode ...
Hadoop学习十八：Hadoop-Hdfs DataXceiverServer源码其它操作及总结
zy19982004的专栏
06-13 169
一. 其它操作 public static final byte OP_REPLACE_BLOCK = (byte) 83; public static final byte OP_COPY_BLOCK = (byte) 84; public static final byte OP_BLOCK_CHECKSUM = (byte) 85;   二.REPLACE_BLOC...
Hadoop学习十五：Hadoop-Hdfs DataXceiverServer源码概述
zy19982004的专栏
06-02 154
一.DataXceiverServer类图   二.DataXceiverServer  Server used for receiving/sending a block of data.This is created to listen for requests from clients or other DataNodes.  This small server does n...
HDFS 流式接口
yukikaze_nanoda的博客
10-27 659
DataTransferProtocol是用来写入或读出DataNode（简称DN）上的数据的流式接口，定义了如下关于数据传输的方法
HDFS 数据块详解
qq_32630565的博客
06-16 1246
HDFS数据块： 与一般文件系统一样，HDFS也有块（block）的概念，HDFS上的文件也被划分为块大小的多个分块作为独立的存储单元。 与通常的磁盘文件系统不同的是： HDFS中小于一个块大小的文件不会占据整个块的空间（当一个1MB的文件存储在一个128MB的块中时，文件只使用1MB的磁盘空间，而不是128MB） 设置数据块的好处： （1）一个文件的大小可以大于集群任意节点磁盘的容量 （2）容易对数据进行备份，提高容错能力 （3）使用抽象块概念而非整个文件作为存储单元，大大简化存储子系统的设
Hadoop-2.4.1源码分析--HDFS读取文件
HelloWorld
05-12 4609
在上一篇文章《Hadoop源码分析--FileSystem的创建过程》中(阅读地址-----------------------------------------------------http://blog.csdn.net/u010010428/article/details/51378378)，我们分析了HDFS的DistributedFileSystem对象的创建过程，之后就可以按照HD
etcd — 架构原理
烟云的计算
10-03 3027
目录 文章目录目录etcd 的核心术语etcd 的软件架构etcd 实现原理如何保证数据一致性？客户端从集群中的哪个节点读写数据？如何选举 Leader 节点？如何判断写入是否成功？如何确定 etcd Cluster 的节点数？ etcd 的核心术语 Raft：etcd 所采用的保证分布式系统数据强一致性的算法。 Node：一个 Raft 状态机实例。 Member：一个 etcd 实例，它管理着一个 Node，并且可以为客户端请求提供服务。 Cluster：由多个 Member 构成可以协同工作的 et
DataNode节点上数据块发送器——BlockSender
xhh198781的专栏
01-10 3827
在HDFS集群中，数据主要集中在DataNode节点之间、客户端与DataNode节点之间传输，如：客户利用客户端向HDFS中写入或读取数据；当NameNode节点检测到某一个数据块的副本不够时，会让某一个DataNode节点把该数据块复制到其它的DataNode节点上；当某个DataNode节点存储Block负载过重时会把它上面的一些数据块移动到其它DataNode上等等...所以本文将重点讨论
阿里云开源离线同步工具DataX3.0介绍
weixin_34393428的博客
08-24 3644
阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星...
Hadoop2.8.5 节点间的数据传输
Sherlock的博客
01-31 1440
数据节点 DataNode 在运行中会与三种对端有互动。第一种是 NameNode ,如前所述,对于数据块的存储地点,虽然最初是由 NameNode 分配和指定的,但相关的信息最终来自DataNode 的报告。第二种是用户的 App (包括 Shell ),用户的 App 可以存在于集群内的任何节点上,不过那是在独立的 JVM 上,即使与 DataNode 同在一个节点上也互相独立;然而真正把数据...
Impala与HDFS交互：数据访问与优化揭秘
"Impala是一个面向大规模数据分析的高性能OLAP引擎，它不直接存储数据，而是通过与HDFS、HBase、Kudu等第三方存储引擎交互来处理数据。Impala支持多种文件格式，如Parquet、TEXT、avro和sequencefile，但对HDFS文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值