spark
文章平均质量分 80
HarryLi
这个作者很懒,什么都没留下…
展开
-
Spark Scheduler模块源码分析之DAGScheduler
转自:http://blog.csdn.net/dabokele/article/details/51902617 本文主要结合Spark-1.6.0的源码,对Spark中任务调度模块的执行过程进行分析。Spark Application在遇到Action操作时才会真正的提交任务并进行计算。这时Spark会根据Action操作之前一系列Transform操作的关联关系,生成一个DAG,在后续转载 2017-03-31 14:46:38 · 256 阅读 · 0 评论 -
Spark源码分析之Scheduler模块(TaskScheduler)
转自:http://blog.csdn.net/bryce123phy/article/details/51225561 DAGScheduler将任务提交到TaskScheduler之后,接下来由TaskScheduler负责任务的调度。 TaskScheduler是一个trait(接口类),它的实现类是TaskSchedulerImpl。具体内容包括:转载 2017-03-31 15:16:24 · 352 阅读 · 0 评论