SparkRPC
天心有情
这个作者很懒,什么都没留下…
展开
-
Spark3.0消息发送经历了什么
Spark3.0消息发送经历了什么首先创建一个RpcEnv变量,用来存储各种信息 val rpcEnv = RpcEnv.create(systemName, bindAddress, advertiseAddress, port.getOrElse(-1), conf, securityManager, numUsableCores, !isDriver)该变量主要调用create方法,最后调用到NettyRpcEnvFactory的create方法,以工厂模式创建RpcEnv原创 2020-07-23 16:20:51 · 200 阅读 · 0 评论 -
SparkRPC源码分析之ConfigProvider
Spark配置信息Spark的配置信息读取一般都会通过ConfigProvider类来完成,该类是一个抽象类,它的一系列子类实现了从各种渠道中读取配置信息到内存中[Map]这里是一个javaMap不是ScalaMap代码如下所示package org.apache.spark.internal.configimport java.util.{Map => JMap}import ...原创 2019-05-07 18:55:29 · 285 阅读 · 0 评论 -
SparkRPC源码分析之TransportServer
SparkRPC源码分析之TransportServer在上一篇博客中写到了Transprotclient的初始化,也就是那个很重要的currentMap里面数据的初始化,本次分析服务端初始化过程。先看构造方法的源代码//创建一个TransportServer,绑定到给定主机和给定端口,(如果为0)绑定到任何可用的主机和端口。//如果不想绑定到任何特殊主机,请将“hostToBind”设置...原创 2019-05-09 18:17:56 · 193 阅读 · 0 评论 -
SparkRPC源码分析之Netty基础知识扫盲
SparkRPC源码分析之Netty基础知识扫盲在上面三篇文章中,我们介绍了Spark如何创建一个客户端和如何创建一个服务端。那么这些东西是什么呢?这就需要了解netty,而我本人是对netty不了解的。因此简单地看了一下netty需要的东西,写了以下简单的netty入门级程序。仅供参考服务端代码:import org.jboss.netty.bootstrap.ServerBootstra...原创 2019-05-10 16:53:38 · 240 阅读 · 0 评论 -
SparkRPC源码分析之RPC管道与消息类型
SparkRPC源码分析之RPC管道与消息类型我们前面看过了netty基础知识扫盲,那我们应该明白,ChannelHandler这个组件内为channel的各种事件提供了处理逻辑,也就是主要业务逻辑写在该组建内。Spark的RPC也不会例外,因此我们看一下Spark的Handeler怎么调用的。在TransPortClientFactory初始化客户端之前有一条代码为TransportChann...原创 2019-05-17 14:43:26 · 462 阅读 · 0 评论 -
SparkRPC源码分析之ChunkFetchRequest、ChunkFetchSuccess和ChunkFetchFailure消息
StreamManager文章目录StreamManager作用方法ChunkFetchRequest消息ChunkFetchSuccess和ChunkFetchFailure消息作用 StreamManager用来从一个流中提取单个的块。这会在TransportRequestHandeler中用来相应fetchChunk请求。流的创建超出了传输层的范围,但是一个给定的流保证了仅被一个客...原创 2019-06-14 08:58:00 · 1179 阅读 · 0 评论 -
SparkRPC源码分析之RpcRequest、RpcResponse和RpcFailure消息
SparkRPC源码分析之RpcRequest、RpcResponse和RpcFailure消息文章目录SparkRPC源码分析之RpcRequest、RpcResponse和RpcFailure消息RpcRequestRPCResponse 和RpcFailure 消息RpcRequest和上一个ChunkFetchRequest消息一样。入口都是从TransportRequestHand...原创 2019-07-01 20:58:30 · 860 阅读 · 0 评论 -
SparkRPC源码分析之OneWayMessage消息
SparkRPC源码分析之OneWayMessage消息文章目录SparkRPC源码分析之OneWayMessage消息OneWayMessageOneWayMessage首先看一下OneWayMessage的定义public final class OneWayMessage extends AbstractMessage implements RequestMessage 什么是...原创 2019-07-01 21:59:18 · 2040 阅读 · 0 评论