spark学习-63-源代码：schedulerBackend和taskScheduler的创建(1)-local

九师兄

于 2020-07-04 10:19:32 发布

阅读量988

点赞数

分类专栏：大数据-spark 文章标签： spark sheeduler task Backend

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/78873885

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文详细探讨了在创建SparkContext时如何根据master配置创建SchedulerBackend和TaskSchedulerImpl，重点关注了local模式下的流程。在local模式下，任务的提交与执行过程包括Executor的创建、线程池的初始化以及任务的执行。TaskRunner的run方法是任务执行的关键，涉及到内存管理和操作系统的交互。

摘要由CSDN通过智能技术生成

文章目录

在这里插入图片描述

测试代码

// 本地模式运行,便于测试
    val sparkConf = new SparkConf().setMaster("local").setAppName("aa")

##1. schedulerBackend和taskScheduler的创建是在创建SparkContext的时候
createTaskScheduler方法会根据master的配置陪陪部署模式，创建TaskSchedulerImpl，并且生成不同的SchedulerBackend。

/**
      * Create and start the scheduler  创建和启动任务调度
      * 创建SparkDeployScheduler和TaskSchedulerImpl
      *
      * 这里才是真正创建
      * schedulerBackend
      * taskScheduler
      * dagScheduler
      *
      * createTaskScheduler方法会根据master的配置陪陪部署模式，创建TaskSchedulerImpl，并且生成不同的SchedulerBackend。
      * */
    val (sched,

了解本专栏