![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
stephenpan0415
这个作者很懒,什么都没留下…
展开
-
Spark运行模式的源码分析
以伪分布(local-cluster)运行模式为例 SparkContext.scala 的方法createTaskScheduler()会生成backend和scheduler … case LOCAL_CLUSTER_REGEX(numSlaves, coresPerSlave, memoryPerSlave) => // Check to make sure memory requ...原创 2019-02-18 16:45:32 · 285 阅读 · 0 评论 -
Spark job究竟是怎么跑起来的?源码分析
上一篇文章介绍了spark的运行模式。而我之所以写这篇文章是因为好奇当RDD的action被出发后,究竟发生了什么? 所有的组件都已经准备妥当以后,sparkContext.scala的runJob()在经过好几层同名函数的层层调用后,最终会调用dagScheduler的runJob() def runJob[T, U: ClassTag]( rdd: RD...原创 2019-02-18 17:11:54 · 402 阅读 · 0 评论