Spark RPC 学习笔记

已于 2022-10-30 14:39:19 修改
阅读量226 收藏
点赞数 1
分类专栏： Spark 文章标签： spark rpc 学习
于 2021-07-17 15:20:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/118857234
版权
本文深入探讨Spark的RPC机制，主要涉及RpcEnv、RpcEndpoint和RpcEndpointRef三个关键类。文章介绍了Spark中如何创建和注册RpcEndpoint，详细解析了RpcEndpointRef.send的调用过程，以及RpcEndpoint的receive和onStart方法。同时，提供了一个测试Demo以帮助理解Spark的RPC实现。
摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

学习记录一下Spark源码中的RPC，本文基于Spark3源码进行学习研究

三个重要的类

RpcEnv、RpcEndpoint、RpcEndpointRef主要是想搞懂这三个之间的关系

子类

Spark 1.6.3中默认使用了Netty作为底层的实现，但Akka的依赖依然存在；而Spark 2.1.0中的底层实现只有Netty，这样用户可以方便的使用不同版本的Akka或者将来某种更好的底层实现

NettyRpcEnv

private[netty] class NettyRpcEnv
了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
专栏目录
订阅专栏
Spark基础学习笔记02：Spark运行时架构
howard2005的专栏
02-22 2422
Spark运行时架构、YARN集群架构、Spark on Standalone、Spark on YARN
spark RPC使用
cl2010abc的专栏
04-13 187
HelloworldServer.scala object HelloworldServer { def main(args: Array[String]): Unit = { val conf = new SparkConf() val securityManager = new SecurityManager(conf) val rpcEnv: RpcEnv = ...
心跳实现_如何使用Spark Rpc框架实现C/S架构基本的注册和心跳功能
weixin_39627201的博客
01-12 182
一、Spark Rpc 框架说明在 Spark 的早期版本中，RPC 是采用 Akka 来实现的。但是，这样就使 Spark 和 Akka 耦合在了一起，如果一个系统本身就有使用到 Akka，然后又想使用Spark的话，就可能产生 Akka 版本冲突问题。在之后的版本中，Spark 陆续移除了对 Akka 的依赖。从 2.x 版本开始，Spark 的 RPC 框架完全基于...
spark rpc 简单示例
yaoyaobird11的博客
08-18 219
spark rpc 简单示例 假设我们要开发一个Hello服务，客户端可以传输string，服务端响应hi或者bye，并echo回去输入的string。 第一步，定义一个HelloEndpoint继承自RpcEndpoint表明可以并发的调用该服务，如果继承自ThreadSafeRpcEndpoint则表明该Endpoint不允许并发。 class HelloEndpoint(override val rpcEnv: RpcEnv) extends RpcEndpoint { override def
spark源码----Spark 通讯架构
没有合适的昵称
02-29 1435
Spark通信架构概述 Spark2.x版本使用Netty通讯框架作为内部通讯组件。spark 基于netty新的rpc框架借鉴了Akka的中的设计，它是基于Actor模型，如下图所示： Spark通讯框架中各个组件（Client/Master/Worker）可以认为是一个个独立的实体，各个实体之间通过消息来进行通信。具体各个组件之间的关系图如下： Endpoint（Client/Master...
Spark Rpc的启动过程(其实也就是集群的启动过程)
吟啸徐行
06-25 949
Spark RPC在2.0之后是完全基于Netty实现的RPC，主要核心组件有: RpcEnv、RpcEnvFactory、RpcEndpoint、RpcEndPointRef(对应到Netty的实现就是NettyRpcEnv、NettyRpcEnvFactory、NettyRpcEndpoint、NettyRpcEndPointRef)。当然还有一些其他组件，我们这里不涉及了，关于底层传输后期在
Spark基础学习笔记01：初步了解Spark
f54268589的博客
06-12 359
Spark基础学习笔记01：初步了解Spark
Spark学习笔记（一）Spark初识【特性、组成、应用】
08-25
- SparkCore：这是Spark的基础，负责任务调度、数据存储（RDD）、RPC、序列化和压缩。RDD是弹性分布式数据集，它是Spark处理数据的核心抽象。 - SparkSQL：提供与SQL兼容的接口，用于处理结构化数据，支持多种数据...
Spark源码学习笔记4-SparkEnv
lzy2014的专栏
04-30 2213
继3-LiveListenerBus之后，我们来看看SparkContext构造函数中初始化的SparkEnv
Spark内核解析(一) Spark向Yarn提交应用(源码解析)
Sarahdsy的博客
06-17 2133
文章目录Spark内核解析(一) Spark向Yarn提交应用(源码解析)执行脚本提交任务执行提交操作解析参数提交使用提交的参数，运行child class的main方法准备提交环境通过类名加载这个类反射创建类的对象并进行类型转换运行childMainClass的start方法运行YarnClusterApplication封装参数创建客户端对象运行 - 提交应用配置JVM的启动参数向Yarn提交应用运行ApplicationMaster启动用户的应用线程阻塞，等待对象(SparkContext)的返回注册
Spark Driver启动流程 代码解析
weixin_33739627的博客
08-19 195
2019独角兽企业重金招聘Python工程师标准>>> ...
React Flux 思想
06-26 598
flux 是 react 中的类似于 vuex 的公共状态管理方案，利用数据的单向流动的形式对公共状态进行管理。
Spark源码分析之五：Task调度（一）
weixin_33708432的博客
02-19 153
在前四篇博文中，我们分析了Job提交运行总流程的第一阶段Stage划分与提交，它又被细化为三个分阶段： 1、Job的调度模型与运行反馈； 2、Stage划分； 3、Stage提交：对应TaskSet的生成。 Stage划分与提交阶段主要是由DAGScheduler完成的，而...
LocalSchedulerBackend
chbxw
04-12 422
1.2、启动 override def start() { val rpcEnv = SparkEnv.get.rpcEnv val executorEndpoint = new LocalEndpoint(rpcEnv, userClassPath, scheduler, this, totalCores) ...
Spark RPC实现原理分析
落枫寒的博客
11-09 3202
本文主要对Spark RPC的实现进行了宏观（整体架构）和微观（核心源码）上的分析，主要文章结构主要分为模块架构、核心组件和交互流程。
Spark Yarn Cluster 模式启动流程源码分析
RJ_Dream的博客
03-18 572
spark-submit.s 首先由spark-submit.sh脚本提交任务： if [ -z "${SPARK_HOME}" ]; then source "$(dirname "$0")"/find-spark-home fi # disable randomized hash for string in Python 3.3+ export PYTHONHASHSEED=0 exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.de
Spark整理：任务提交源码解析-part2
weixin_38602383的博客
12-27 980
Inbox 结构： private[netty] class Inbox(val endpointName: String, val endpoint: RpcEndpoint) extends Logging { inbox => // Give this an alias so we can use it more clearly in closures. //消息体 @GuardedBy("this") protected val messages = new java
SpringBoot深度探究（十）源码探究启动流程之注册DispatcherServlet
Smallc0de的博客
12-08 402
前言 上篇【SpringBoot深度探究（九）源码探究启动流程之三】说完了Tomcat启动以后，到目前为止SpringBoot的启动流程就剩下一个问题没有解决，那就是如何把DispatcherServlet和Spring环境联系起来的，那么本篇博客将会把这个问题做一个讲解。更多Spring内容进入【Spring解读系列目录】。 DispatcherServletAutoConfiguration 和之前模拟的一样，首先SpringBoot在启动中new出来，然后再把DispatcherServlet注册到S
Spark RPC深度解析：从基础到核心技术
Spark RPC是Spark分布式计算系统中的核心组件，用于实现各个节点之间的高效、可靠的通信。本文将深入探讨Spark RPC的工作原理，通过实例分析其设计思路，并总结其关键技术。 一、Spark RPC的基本概念与应用 Spark ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值