Scheduler
dabokele
这个作者很懒,什么都没留下…
展开
-
Spark Scheduler模块源码分析之TaskScheduler和SchedulerBackend
本文是Scheduler模块源码分析的第二篇,第一篇Spark Scheduler模块源码分析之DAGScheduler主要分析了DAGScheduler。本文接下来结合Spark-1.6.0的源码继续分析TaskScheduler和SchedulerBackend。原创 2016-07-17 13:59:15 · 8256 阅读 · 3 评论 -
Spark Scheduler模块源码分析之DAGScheduler
本文主要结合Spark-1.6.0的源码,对Spark中任务调度模块的执行过程进行分析,分析了Scheduler模块中DAGScheduler的作用,构成,以及Stage划分和Stage最终的提交过程。原创 2016-07-13 23:47:28 · 13886 阅读 · 10 评论