![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark-Core源码学习记录
御街打码
这个作者很懒,什么都没留下…
展开
-
Spark-Core源码学习记录 1.1 负责通信的三个抽象RpcEnv、RpcEndpoint与RpcEndpointRef
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录,旨在捋清Spark分发程序运行的机制和流程,对部分关键源码进行追踪,争取做到知其所以然,对枝节部分源码仅进行文字说明,不深入下钻,避免混淆主干内容。本文为RpcEnv、RpcEndpoint、RpcEndpointRef相关内容的介绍,此为阅读后续源码的基础。自Spark 2.1.0之后的底层实现只有Netty,移除了A...原创 2019-04-04 18:48:42 · 365 阅读 · 0 评论 -
Spark-Core源码学习记录 1.Master与Worker的启动注册及相互调用
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录,旨在捋清Spark分发程序运行的机制和流程,对部分关键源码进行追踪,争取做到知其所以然,对枝节部分源码仅进行文字说明,不深入下钻,避免混淆主干内容。本文承接上文,我们分别进入org.apache.spark.deploy.master.Master和org.apache.spark.deploy.worker.Worker...原创 2019-04-07 15:26:41 · 201 阅读 · 0 评论 -
Spark-Core源码学习记录 0.集群的启动脚本及launcher.Main作用
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录,旨在捋清Spark分发程序运行的机制和流程,对部分关键源码进行追踪,争取做到知其所以然,对枝节部分源码仅进行文字说明,不深入下钻,避免混淆主干内容。本文为Spark源码系列的开篇,主要内容包括对集群启动相关脚本的流程分析。Spark配置文件...原创 2019-04-03 09:12:39 · 252 阅读 · 0 评论 -
Spark-Core源码学习记录 2 应用提交Submit 及Driver注册流程,以JavaWordCount为例
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录,旨在捋清Spark分发程序运行的机制和流程,对部分关键源码进行追踪,争取做到知其所以然,对枝节部分源码仅进行文字说明,不深入下钻,避免混淆主干内容。本文是参考:Apache Spark 源码...原创 2019-04-12 17:36:01 · 262 阅读 · 0 评论 -
Spark-Core源码学习记录 1.2 schedule()方法的调度内容
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录,旨在捋清Spark分发程序运行的机制和流程,对部分关键源码进行追踪,争取做到知其所以然,对枝节部分源码仅进行文字说明,不深入下钻,避免混淆主干内容。本文是对Worker注册过程的补充,在这里Spark-Core源码学习记录 1提及,在Worker向Master注册完成后,Master会调用schedule方法进行资源调度,...原创 2019-04-09 18:53:30 · 201 阅读 · 0 评论 -
Spark-Core源码学习记录 3 SparkContext、SchedulerBackend、TaskScheduler初始化及应用的注册流程
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录,旨在捋清Spark分发程序运行的机制和流程,对部分关键源码进行追踪,争取做到知其所以然,对枝节部分源码仅进行文字说明,不深入下钻,避免混淆主干内容。从本篇文章开始,进入到Spark核心的部分,我们将依次展开。SparkContext 基石SparkContext在整个Spark运行期间都起着重要的作用,并在其中完成了许...原创 2019-04-16 20:20:55 · 295 阅读 · 0 评论 -
Spark-Core源码学习记录 4 Stage划分以及Task本地性计算与分发
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录,旨在捋清Spark分发程序运行的机制和流程,对部分关键源码进行追踪,争取做到知其所以然,对枝节部分源码仅进行文字说明,不深入下钻,避免混淆主干内容。前面篇章中,我们完成了Master与Worker的注册启动,Driver和Executor的注册启动,Application的注册与启动。初始化了SparkContext、Sc...原创 2019-04-23 20:08:18 · 608 阅读 · 0 评论 -
Spark-Core源码学习记录 5 Task的启动及回顾总结
该系列作为Spark源码回顾学习的记录,旨在捋清Spark分发程序运行的机制和流程,对部分关键源码进行追踪,争取做到知其所以然,对枝节部分源码仅进行文字说明,不深入下钻,避免混淆主干内容。原创 2019-04-28 20:00:15 · 174 阅读 · 0 评论