![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark源码系列
文章平均质量分 92
AiryView
等待雪融的你
展开
-
Spark源码(启动ApplicationMaster和Driver线程)-第二期
上一期指路上一期我们分析到了YarnClusterApplication的start,我们继续从这里分析。 override def start(args: Array[String], conf: SparkConf): Unit = { // SparkSubmit would use yarn cache to distribute files & jars in yarn mode, // so remove them from sparkConf here原创 2022-08-23 07:30:00 · 1277 阅读 · 0 评论 -
Spark源码(创建与yarn集群交互的client并运行)-第一期
决定从这一期开始写基于yarn模式部署的spark集群,将用户编写的代码(以WordCount为例子)提交到该集群上运行的一系列流程。object Spark03_WordCount { def main(args: Array[String]): Unit = { val sparConf: SparkConf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkConte原创 2022-08-21 11:04:09 · 977 阅读 · 0 评论 -
Spark3.0.3-Worker的启动流程源码分析
Worker对于Master,其启动脚本就是通过java mainClass的方式调用main方法启动Worker的java进程。自然调用的就是org.apache.spark.deploy.worker.Worker的main方法。于是就从org.apache.spark.deploy.worker.Worker中的main方法开始看起。1.Worker#main...原创 2022-04-11 09:43:43 · 767 阅读 · 0 评论 -
Spark3.0.3-Master的启动流程源码分析
Master对于Master,其启动脚本就是通过java mainClass的方式调用main方法启动Master的java进程。自然调用的就是org.apache.spark.deploy.Master的main方法。于是就从org.apache.spark.deploy.Master中的main方法开始看起1.Master#mainnew SparkConfSpark应用程序的配置,将spark的各种参数设置为键值对 ;new MasterArguments(argSt原创 2022-04-10 17:03:28 · 1502 阅读 · 1 评论