spark学习-75-源代码：Endpoint模型介绍(6)-Endpoint的消息的接收(2)

最新推荐文章于 2023-03-14 17:08:48 发布
最新推荐文章于 2023-03-14 17:08:48 发布
阅读量1k 收藏
点赞数
分类专栏： 大数据-spark 文章标签： rpc endpoint spark
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/79004747
版权
大数据-spark 专栏收录该内容
204 篇文章 480 订阅 ¥49.90 ¥99.00
订阅专栏
本文探讨了Spark的Endpoint如何处理消息，特别是消息的产生点和分发过程。重点在于Inbox与Outbox的设计，其中InboxMessage在dispatcher-event-loop线程的驱动下，触发Endpoint的相应处理。文章指出OnStart指令是通信的起点，而MessageLoop从LinkedBlockingQueue中取出数据进行处理。作者提出了对onStart()方法调用来源的疑问，并提供了两种可能的执行情况。
摘要由CSDN通过智能技术生成

在这里插入图片描述

关于Endpoint如何处理消息的，我一直找不到初始调用点
这里写图片描述
请问这个图中消息接受这个点在哪里？我想从这里看，但是找不到最初的起点

1。消息的产生点

没找到，消息是怎么产生的还不清楚，知道的底下评论一下，谢谢

2。消息的分发

Endpoint Inbox处理流程
Spark在Endpoint的设计上核心设计即为Inbox与Outbox，其中Inbox核心要点为
内部的处理流程拆分为多个消息指令（InboxMessage）存放入Inbox
当Dispatcher启动最后，会启动一个名为【dispatcher-event-loop】的线程扫描Inbox待处理InboxMessage

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
spark学习-73-源代码：Endpoint模型介绍(5)-Netty通讯小例子
九师兄
07-04 892
想理解Rpc的通讯，先看看Netty的通讯小例子，有助于理解Spark的Rpc通讯原理 先看一个整体图 静态图： 动态图gif动画： Spark2.2以后统一了通讯方式，全部是netty方式，根据源码的思路用scala写了一个Demo级别的netty通信 package com.spark.netty import io.netty.bootstrap.ServerBootstr
spark学习-71-源代码：Endpoint模型介绍(3)-Endpoint Send&Ask流程
九师兄
07-04 847
1。Endpoint Send&Ask流程 Endpoint的消息发送与请求流程，如下： 从图上看send方法最先调用，我们来看看什么时候调用，下面是worker的调用语句，但是这里我们主要走的是master的send语句 workerRef.send(MasterInStandby) send代码如下，这里主要处理是发给自己的还是发给别人的消息 /
【Spark2.0源码学习】-3.Endpoint模型介绍
weixin_30825199的博客
04-23 181
Spark作为分布式计算框架，多个节点的设计与相互通信模式是其重要的组成部分。 一、组件概览 对源码分析，对于设计思路理解如下： RpcEndpoint：RPC端点 ，Spark针对于每个节点（Client/Master/Worker）都称之一个Rpc端点 ,且都实现RpcEndpoint接口，内部根据不同端点的需求，设计不同的消...
spark学习-74-源代码：Endpoint模型介绍(6)-Endpoint的消息的接收
九师兄
07-04 756
Endpoint receive流程 Endpoint的消息的接收，流程如下： 本图主要包括两部分，一部分是创建Netty服务 一部分是接收消息 创建Netty服务 这里有个小问题，因为我找不到RpcEndpoint new NettyRpcEnv，导致我两天没找到第一个new 1. 下面以master讲解，先看看main方法 def main(argStrings
spark—Rpc学习—RpcEndpointRef和RpcEndpoint概览
最新发布
qq_28906267的博客
03-14 299
RpcEndpointRef和RpcEndpoint概览
spark学习-69-源代码：Endpoint模型介绍(1)
九师兄
07-04 655
Spark作为分布式计算框架，多个节点的设计与相互通信模式是其重要的组成部分 一、组件概览 对源码分析，对于设计思路理解如下： RpcEndpoint：RPC端点 ，Spark针对于每个节点（Client/Master/Worker）都称之一个Rpc端点 ,且都实现RpcEndpoint接口，内部根据不同端点的需求，设计不同的消息和不同的业务处理，如果需要发送（询
spark学习-70-源代码：Endpoint模型介绍(2)-启动流程
九师兄
07-04 903
1. Endpoint启动过程 启动的流程如下： ![这里写图片描述](http://img.blog.csdn.net/20180104220358975?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMjEzODM0MzU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
Spark中网络通讯原理
chenxiao19921018的博客
12-20 246
spark通讯原理
深入解析Spark中的RPC
imgxr的博客
08-31 2763
作者：Neo，研究生毕业于清华大学，本科毕业于北京邮电大学，目前工作在Hulu，从事Big data相关领域的研发工作，曾经在百度Ecom和程序化广告混迹6年，从事系统研发和架构工作，关注大数据、Web后端技术、广告系统技术以及致力于编写高质量的代码。 原文载于知乎，感谢作者授权转载。 Spark是一个快速的、通用的分布式计算系统，而分布式的特性就意味着，必然存在节点间的通信。本文主要...
【Spark】Spark 消息通信架构
w1992wishes的博客
11-15 2288
本篇结构： 前言 几个重要概念 Spark RpcEnv Spark RpcEndpoint Spark RpcEndpointRef RpcEnv 和 RpcEndpoint 关系类图 Dispatcher 和 Inbox Outbox 时序图 一、前言 在 Spark 事件总线 一篇中有介绍组件内之间的通信，那 Spark 集群内，各组件之间又是怎么通信的？ Spark 有内置的 RPC ...
spark 2.4.0源码分析--(四)Spark Netty RPC实现及Endpoint
LS_ice的专栏
01-23 1551
文章目录一、NettyRPCEnv及实现 一、NettyRPCEnv及实现 留名，本周加上后续内容
Spark2.0.X源码深度剖析之 RpcEnv & NettyRpcEnv
ws0owws0ow的博客
06-12 2212
RpcEnv是各个组件之间通信的执行环境，每个节点之间（Driver或者Worker）组件的Endpoint和对应的EndpointRef之间的信息通信和方法调用都是通过RpcEnv作协调，而底层是通过Netty NIO框架实现（Spark早期版本通信是通过Akka，大的文件传输是通过Netty，在2.0.0版本后统一由Netty替换成了Akka，实现了通信传输统一化） 打个比方：像mapOutputTracker（M-S模式，上个章节提及的def registerOrLookupEndpoint）在自己
Spark分布式消息发送流程
吟啸徐行
06-25 1199
Spark集群中涉及分布式节点之间的通信，例如Worker启动注册信息到Master，这个过程就有消息的传输，接下来将要分一下一下消息的传输过程。首先Worker的启动还是从main方法开始，之后运行期初始化OnStart方法调用registerWithMaster完成Worker向Master的注册，registerWithMaster经过一系列调用最后调用org.apache.spark.de
Spark RPC之Dispatcher、Inbox、Outbox
u011564172的博客
03-03 4272
概要 Dispatcher、Inbox、Outbox完成了Spark RPC底层对请求消息的分发及处理流程，Dispatcher和Inbox作用于server端，处理请求，Outbox作用于client端，处理和远端server通信的情况。Spark RPC之RpcRequest请求处理流程中的最后两幅截图中可以看到 Dispatcher和Inbox在其中发挥作用。 Dispatcher、I
kaldi nnet3模型对单一语音文件在线解码
dhj_tsukuba的博客
02-04 1723
文章目录一、online2-wav-nnet3-latgen-faster二、lattice生成脚本三、lattice解码脚本 本文主要以kaldi中的CSJ日语数据集为例进行讲解，文中涉及的路径都是在egs/csj/s5 中可以找到的。 一、online2-wav-nnet3-latgen-faster online2-wav-nnet3-latgen-faster 是nnet3模型解码的核心程序，它读取wav 文件，进行mfcc 和ivector 特征处理，根据单词符号表生成对应的词图，即latti.
java中间件的代码_Endpoint签名认证
weixin_39915500的博客
02-25 139
您可以通过推送请求头中的x-mns-signing-cert-url获取签名证书，并根据相应的方法来验证该请求是否由消息服务MNS系统发出，防止恶意请求造成负面影响。在消息服务MNS推送请求头中，Authorization字段的值是消息服务MNS根据待签名字符串，用SHA1-RSA签名算法生成签名。Endpoint可以使用公钥对签名进行验证，具体的验证方法如下：步骤一：获取X509证书在消息服务M...
Spark RPC概述
u011564172的博客
02-19 4309
概要 Spark RPC被deploy、scheduler、shuffle、storage等多个模块使用，是深入学习这些模块的前提。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值