- 博客(2)
- 收藏
- 关注
RSS订阅原创 Spark job究竟是怎么跑起来的？源码分析
上一篇文章介绍了spark的运行模式。而我之所以写这篇文章是因为好奇当RDD的action被出发后，究竟发生了什么？ 所有的组件都已经准备妥当以后，sparkContext.scala的runJob()在经过好几层同名函数的层层调用后，最终会调用dagScheduler的runJob() def runJob[T, U: ClassTag]( rdd: RD...
2019-02-18 17:11:54
411
原创 Spark运行模式的源码分析
以伪分布（local-cluster）运行模式为例 SparkContext.scala 的方法createTaskScheduler()会生成backend和scheduler … case LOCAL_CLUSTER_REGEX(numSlaves, coresPerSlave, memoryPerSlave) => // Check to make sure memory requ...
2019-02-18 16:45:32
297
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人