大数据
文章平均质量分 88
CReep~
这个作者很懒,什么都没留下…
展开
-
Spark RPC解读
Spark消息通信架构在Sparkd定义了通信框架接口,这些接口实现中调用N etty的具体方法(Spark 2.0版本之前使用的是Akka)。RPC组件之间的关系如图所示:在框架中以RpcEndpoint和RpcEndpointRef实现了Actor和ActorRef相关动作(具体可以查阅Akka相关资料),其中RpcEndpointRef是RpcEndpoint的引用,在消息通信中消息发送方持有引用RpcEndpointRef.通信框架中使用了工厂设计模式实现(文末献上鄙人对工厂模式的简单理解)原创 2021-06-11 14:33:21 · 231 阅读 · 1 评论 -
以Wordcount为例分析Spark应用执行流程
文章目录WordCount理论剖析划分stage提交调度阶段提交tasks执行taskWordCountword count是spark 最基本的小程序,主要功能就是统计一个文件里面各个单词出现的个数。代码很简洁,如下。package swjtu.cn.miimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[原创 2021-06-10 15:06:57 · 781 阅读 · 0 评论 -
spark-listener详解
注:不同spark版本源码可能不一样,本机spark版本是3.0.1SparkListenerSpark中的事件监听机制,本质上其实就是观察者模式的实现,查看源码我们可以经常看到listener这种命名的类或对象,顾名思义,这就是监听器类或对象。下面就以SparkListener为例来解析事件监听是如何设计的。首先我们看SparkListener*/*** ** :: DeveloperApi ::* ** A* *default* *implementation* *for* `*SparkLi原创 2021-06-10 14:53:05 · 2387 阅读 · 0 评论