SparkRPC通信机制

最新推荐文章于 2024-03-07 15:14:57 发布
最新推荐文章于 2024-03-07 15:14:57 发布
阅读量221 收藏
点赞数 1
分类专栏： SPARK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AnameJL/article/details/106995874
版权

  1. 主节点启动

  2. 从节点启动

  3. 从节点启动后,会向主节点注册信息,信息内容包括自己的cpu资源,内存资源等资源信息,还会向主节点注册自己的身份信息

  4. Master接收到Worker的注册信息后,会将Worker的注册信息存储到内存当中,通过Map集合以键值对的形式进行存储,存储成功后,会将注册成功的信息返回给Worker,告诉从节点已经注册成功

  5. 在Master和Worker正常通信后,Worker会通过心跳机制不断的向Master报活,Master也会通过心跳机制来检测Worker是否还存活,如果超时未连接到Worker,那么就将这个Worker视为宕机,从集群中干掉

原理图
在这里插入图片描述

飞天小老头
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark 中通讯架构
a1786742005的博客
09-02 287
一、Spark 通信架构介绍 Spark 中通信框架的发展： 1、Spark 早期版本中采用 Akka 作为内部通信部件。 2、Spark 1.3 中引入 Netty 通信框架，为了解决 Shuffle 的大数据传输问题使用。 3、Spark 1.6 中 Akka 和 Netty 可以配置使用，Netty 完全实现了 Akka 在 Spark 中的功能。 4、Spark 2 系列中，不再使用 Akka，使用 Netty。 二、Spark 通讯架构解析 架构图为： 1、RpcEndpoint RPC 通信终
Spark内核解析之三：Spark 通讯架构
SunnyRivers
11-05 541
Spark通信架构概述 Spark2.x版本使用Netty通讯框架作为内部通讯组件。spark 基于netty新的rpc框架借鉴了Akka的中的设计，它是基于Actor模型，如下图所示： Spark通讯框架中各个组件（Client/Master/Worker）可以认为是一个个独立的实体，各个实体之间通过消息来进行通信。具体各个组件之间的关系图如下： Endpoint（Client/Master...
Spark底层通信RPC源码分析
vip_qining的博客
11-27 3215
RPC通信:无论是hadoop2.x的Rpc通信方式还是Spark2.x的Rpc通信方式，简单通俗的来说就是两个进程之间的远程通信，比如java 一个A项目里面有一个class A，里面有一个washA方法一个B项目里面有一个Class B类，里面有一个方法是washB，B项目通过代理模式以及java的反射机制调用到A项目里面的washA,这种情况下就可以理解为是一个简单的Rpc通信方式。 Sp...
spark 通信机制
chenguangchun1993的博客
12-06 2786
bute对于Network通信，不管传输的是序列化后的对象还是文件，在网络上表现的都是字节流。在传统IO中，字节流表示为Stream；在NIO中，字节流表示为ByteBuffer；在Netty中字节流表示为ByteBuff或FileRegion；在Spark中，针对Byte也做了一层包装，支持对Byte和文件流进行处理，即ManagedBuffer；ManagedBuffer是一个接口，包含了三个函
Spark通讯机制
HanJuly9569的博客
03-10 195
Spark通讯机制 流程 每个节点上RpcEndPoint 发送消息给Dispatcher Dispatcher 将本地指令放入Inbox,将外部指令放入outbox TransportClient轮询OutBox,将消息发送给另一个机器的TransportServer 另一个台机器的TransportServer的将消息转给自己的Dispathcer,然后放入Inbox Dispatcher会轮询消费Inbox 猜想： 通讯机制用在哪些地方 Shuffle 过程中MapoutTracker的通讯
SparkRPC简单代码实现.pdf
最新发布
05-15
Spark RPC（Remote Procedure Call，远程过程调用）是Spark 2.x版本之后引入的一种新的分布式通信机制，取代了早期版本中使用的Akka框架。Spark RPC基于Netty实现了高效的数据传输和消息传递，用于协调集群中不同...
深入解析Spark中的RPC
01-27
Spark中的RPC（远程过程调用）机制是分布式计算系统中节点间通信的关键组成部分。Spark作为一个高效、通用的分布式计算框架，其内部各个组件之间的通信离不开RPC。本文将深入解析Spark如何利用RPC进行点对点通信，...
【Spark内核篇01】Spark通信架构和集群启动流程1
08-04
Spark内核篇01主要探讨的是Spark的通信架构和集群启动流程，这对于理解Spark如何...理解这些机制对于优化Spark应用性能和调试问题至关重要。通过深入学习Spark内核，开发者可以更好地设计和维护高效率的Spark应用程序。
Spark Core介绍
02-16
此外，Block Transfer Service使用netty或nio进行高效的数据传输，RPC机制基于akka的ActorSystem和RpcEnv实现远程通信。 UI界面和监控也是Spark Core的一部分，SparkUI基于Jetty服务器提供，展示Job、Stage、Pool和...
spark 源码解读迷你书
04-13
6. **网络通信**：Spark使用Netty作为网络库，处理节点间的通信。这部分可能涵盖BlockManager、BlockTransferService和RPC机制的源码解析。 7. **存储系统集成**：Spark支持多种存储系统，如HDFS、S3等。书中可能会...
Spark 2.X RPC通信原理
weixin_44005485的博客
09-18 192
Spark RPC层设计概况 spark2.0的RPC框架是基于优秀的网络通信框架Netty开发的，我们先把Spark中与RPC相关的一些类的关系梳理一下，为了能够更直观地表达RPC的设计，我们先从类的设计来看，如下图所示： 从上图左半边可以看出，RPC通信主要有RpcEnv、RpcEndpoint、RpcEndpointRef这三个核心类。 RpcEndpoint是一个通信端，例如Spark集群中的Master，或Worker，都是一个RpcEndpoint。但是，如果想要与一个RpcEndpoint端
Hadoop和spark通信机制
何成俭的博客
04-08 1617
Hadoop MR中的计算框架，jobTracker和TaskTracker之间是由于通过heartbeat的方式来进行的通信和传递数据，会导致非常慢的执行速度，而 Spark具有出色的高效的Akka和netty通信系统
spark源码-RPC通信机制
m0_37817767的博客
08-02 1110
spark源码
Spark消息通信原理
SmallCatBaby的博客
06-24 522
一.NettyRpcEnv主要组件 子组件TransportConf，Dispatcher，TransportClientFactory，TransportServer TransportConf 为RPC框架的中的配置类 Dispatcher 可以有效提高NettyRpcEnv消息异步处理能力和并行处理能力，负责将RPC消息路由到应该对此消息处...
Spark通信架构（转载）
Mathieu66的博客
01-26 1132
声明：该博客整理自尚硅谷2018出的一套教学视频，Spark章节由武玉飞老师主讲，非本人原创。 目录 一、概述 二、通信组件概览 三、 EndPoint启动流程 四、EndPoint Send&Ask流程 五、EndPoint receive 流程 六、EndPoint Inbox处理流程 七、EndPoint画像 一、概述 Spark作为分布式计算框架，多个节点的设计...
Spark源码之RPC通信机制
道可道非常道
03-07 884
在Spark的分布式计算环境中，通信机制扮演着连接各个节点和协调任务执行的关键角色。学习Spark通信机制不仅仅是为了理解框架内部的工作原理，更是为了有效地利用其强大的分布式计算能力。首先，通信机制直接影响着数据在集群中的传输效率。了解数据的传输路径、网络拓扑和数据分区策略，有助于优化数据移动过程，提高任务执行的速度。其次，学习通信机制有助于理解Spark作业中的Shuffle过程。Shuffle是Spark中的一个关键操作，涉及数据的重新分区和重新组织，通信机制在此过程中发挥着至关重要的作用。
Spark2.0.2源码分析——RPC 通信机制(消息处理)
myllxy
02-18 733
RPC 是一种远程过程的调用，即两台节点之间的数据传输。 每个组件都有它自己的执行环境，RPC 的执行环境就是 RPCENV，RPCENV 是 Spark 2.x.x 新增加的，用于替代之前版本的 akka。 RPC 是从 SparkEnv 开始启动的： 一.SparkEnv 的创建 在每一个节点都会启动一个 SparkEnv ，而通过启动 SparkContext 就能启动 SparkEnv:...
spark内核解析5-通讯机制
07-01 162
Spark通信架构概述 Spark2.x版本使用Netty通讯框架作为内部通讯组件，之前用Akka，它是基于Actor模型 Spark通讯框架中各个组件（Client/Master/Worker）可以认为是一个个独立的实体，各个实体之间肯定需要通过消息来进行通信 Endpoint（Client/Master/Worker）有1个InBox和N个OutBox（N>=1，N取决于当前Endpoint与多少其他的Endpoint进行通信，一个与其通讯的其他Endpoint对应一个OutBox），End
Spark消息通信
yoona666的博客
01-12 1172
二、Spark通信机制 2.1 Spark通信机制的重要概念 （1）RpcEndpoint：RPC端点，Spark将每个通信实体/集群节点（Client/Master/Worker等）都称之为一个Rpc端点，且都实现了RpcEndpoint接口，内部根据不同端点的需求，设计不同的消息和不同的业务处理，如果需要发送消息则调用Dispatcher中的相关方法； （2）RpcEnv：RPC上下文环境，RpcEndpoint运行时依赖的上下文环境称之为RpcEnv，其管理RpcEndpoint需要的一些东
Hadoop 2.x深入解析：RPC机制与YarnRPC
"了解Hadoop V2中的RPC技术及其在大数据处理...Hadoop RPC和YARN RPC提供了灵活的通信机制，促进了Hadoop生态系统的扩展性和效率。了解并掌握这些技术对于深入理解Hadoop的工作原理以及在大数据环境中的应用至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值