Spark调度系统包含3个核心组件,分别是DAGScheduler、TaskScheduler和SchedulerBackend。这3个组 件都运行在Driver进程中,它们通力合作将用戶构建的DAG转化为分布式任务,再把这些任务分发给集群中 的Executors去执行。
Spark调度系统流程
最新推荐文章于 2022-08-20 14:29:29 发布
Spark调度系统包含3个核心组件,分别是DAGScheduler、TaskScheduler和SchedulerBackend。这3个组 件都运行在Driver进程中,它们通力合作将用戶构建的DAG转化为分布式任务,再把这些任务分发给集群中 的Executors去执行。