大数据IMF传奇行动绝密课程第43课:Spark 1.6 Rpc内幕解密

原创 2016年08月29日 11:13:12

Spark 1.6 Rpc内幕解密

1、Spark 1.6 Rpc内幕解析
2、RpcEnv源码彻底详解
3、RpcEndpoint等源码解析

图43-1 RPC消息发送图

一、Spark 1.6 Rpc解析
1、Spark 1.6推出了以RpcEnv、RPCEndpoint、RpcEndpointRef为核心的新型架构下的RPC通信方式,就目前的实现而言,其底层依旧是Akka;
2、Akka是基于Actor的分布式消息通信系统,而在Spark 1.6中封装了Akka,提供更高层的Rpc实现,目的是移除对Akka的依赖,为扩展和自定义Rpc打下基础
二、RpcEnv解析
1、RpcEnv是RPC的环境(相当于Akka中的ActorSystem),所有的RpcEndpoint都需要注册到RpcEnv的实例对象中(注册的时候会指定注册的名称,这样客户端就可以通过名称查询到RPCEndpoint的RPCEndpointRef引用,进而进行通信),在RpcEndpoint接收到消息后会调用receive方法进行处理
2、RPCEndpoint如果接收到需要reply的消息的话就会交给自己的receiveAndReply来处理(回复时是通过RpcCallContext中的reply方法来回复发送者的),如果不需要reply的话就交给receive方法来处理
3、RpcEnvFactory是负责创建RpcEnv的,通过create方法创建RpcEnv实例对象,默认使用的是Netty
private def getRpcEnvFactory(conf: SparkConf): RpcEnvFactory = {
val rpcEnvNames = Map(
“akka” -> “org.apache.spark.rpc.akka.AkkaRpcEnvFactory”,
“netty” -> “org.apache.spark.rpc.netty.NettyRpcEnvFactory”)
val rpcEnvName = conf.get(“spark.rpc”, “netty”)
val rpcEnvFactoryClassName = rpcEnvNames.getOrElse(rpcEnvName.toLowerCase, rpcEnvName)
Utils.classForName(rpcEnvFactoryClassName).newInstance().asInstanceOf[RpcEnvFactory]
}

4、RpcEndpoint的生命周期
构造constructor 启动onStart 消息接收 receive、receiveAndReply 停止 onStop

大数据IMF传奇行动绝密课程第104-114课:Spark Streaming电商广告点击综合案例

Spark Streaming电商广告点击综合案例需求分析和技术架构广告点击系统实时分析 广告来自于广告或者移动App等,广告需要设定在具体的广告位,当用户点击广告的时候,一般都会通过ajax或So...
  • tom_8899_li
  • tom_8899_li
  • 2017年05月05日 11:33
  • 875

第83讲:Scala和Java二种方式实战Spark Streaming开发

一、Java方式开发 1、开发前准备:假定您以搭建好了Spark集群。 2、开发环境采用eclipse maven工程,需要添加Spark Streaming依赖。 3、Spark stre...
  • qq_21234493
  • qq_21234493
  • 2016年04月26日 14:58
  • 1576

大数据IMF传奇行动绝密课程第100-101课:使用Spark Streaming+Spark SQL+Kafka+FileSystem综合案例

使用Spark Streaming+Spark SQL+Kafka+FileSystem综合案例1、项目分析流程图 2、项目代码实战Flume sink到Kafka需要一个jar包支持 https...
  • tom_8899_li
  • tom_8899_li
  • 2017年04月03日 22:07
  • 1087

大数据Spark “蘑菇云”行动第50课程 Spark 2.0项目概述 项目!!!大项目!!!超大型大数据项目!!!

大数据Spark “蘑菇云”行动第50课程 Spark 2.0项目概述 从9月20号的大数据项目课程内容开始,所有的同学每节课必须按照课程内容动手实战,且基于课程内容写项目的学习博客; 第一步: 需求...
  • duan_zhihua
  • duan_zhihua
  • 2016年09月20日 21:20
  • 724

大数据IMF传奇行动绝密课程第25课:Spark Sort-Based Shuffle内幕彻底解密

Spark Sort-Based Shuffle内幕彻底解密1、为什么使用Sort-Based Shuffle内幕彻底解密 2、Sort-Based Shuffle实战 3、Sort-Based ...
  • tom_8899_li
  • tom_8899_li
  • 2016年08月12日 00:10
  • 255

大数据IMF传奇行动绝密课程第31课:Spark资源调度分配内幕天机彻底解密

Spark资源调度分配内幕天机彻底解密一、分配Driver(Cluster) 二、为Application分配资源 三、两种不同的资源分配方式彻底揭秘 四、Spark资源分配的思考一、任务调度与...
  • tom_8899_li
  • tom_8899_li
  • 2016年08月12日 22:32
  • 538

大数据IMF传奇行动绝密课程第25课:Spark Sort-Based Shuffle内幕彻底解密

Spark Sort-Based Shuffle内幕彻底解密1、为什么使用Sort-Based Shuffle内幕彻底解密 2、Sort-Based Shuffle实战 3、Sort-Based ...
  • tom_8899_li
  • tom_8899_li
  • 2016年08月07日 21:31
  • 362

大数据IMF传奇行动绝密课程第63课:Spark SQL下Parquet内幕深度解密

Spark SQL下Parquet内幕深度解密1、Spark SQL下的Parquet意义再思考 2、Spark SQL下的Parquet内幕揭秘一、Spark SQL下的Parquet意义再思考 ...
  • tom_8899_li
  • tom_8899_li
  • 2016年09月12日 00:33
  • 320

大数据IMF传奇行动绝密课程第33课:Spark Executor内幕彻底解密

Spark Executor内幕彻底解密一、Spark Executor工作原理图 二、ExecutorBackend注册源码揭秘 三、Executor实例化内幕 四、Executor具体是如何...
  • tom_8899_li
  • tom_8899_li
  • 2016年08月15日 10:49
  • 363

大数据IMF传奇行动绝密课程第20课:Top N彻底解秘

Top N彻底解秘1、基础top N算法 2、分组tom N算法只要是改变每一行列的数据,一般都是用map操作package com.tom.spark.coresimport org.apache...
  • tom_8899_li
  • tom_8899_li
  • 2016年08月11日 23:48
  • 497
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:大数据IMF传奇行动绝密课程第43课:Spark 1.6 Rpc内幕解密
举报原因:
原因补充:

(最多只允许输入30个字)