本文从SparkContext出发，深入剖析Spark任务调度的基本流程。DriverProgram创建SparkContext并构建DAG图，DAGScheduler将作业切分为stage，TaskScheduler负责任务提交和管理，与Cluster Manager协调在Worker的Executor上执行任务。当任务失败，TaskScheduler会尝试重试，确保任务最终完成。
SparkContext是Spark应用的入口并负责和整个集群的交互，创建RDD，累积量(accumulators variables)和广播量(broadcast variables)等, 理解spark的任务调度基本流程，就需要从SparkContext开始。下图是官网Spark的架构图：
DriverProgram即用户提交的程序定义并创建了SparkContext的实例，SparkContext会根据RDD对象构建DAG图，然后将作业(job)提交(runJob)给DAGScheduler。
415
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
