Spark源码系列(二)：SparkContext源码分析

 1、功能描述

本篇文章就要根据源码分析SparkContext所做的一些事情，用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类(新版本里是SparkSession，但其内部还是调用SparkContext)，足以说明SparkContext的重要性；这里先摘抄SparkContext源码注释来简单介绍介绍SparkContext，注释的第一句话就是说SparkContext为Spark的主要入口点，简明扼要，如把Spark集群当作服务端那Spark Driver就是客户端，SparkContext则是客户端的核心；如注释所说 SparkContext用于连接Spark集群、创建RDD、累加器（accumlator）、广播变量（broadcast variables），所以说SparkContext为Spark程序的根本都不为过。

SparkContext 是 Spark 中元老级的 API，从0.x.x 版本就已经存在。有过 Spark 使用经验会感觉 SparkContext 已经太老了，然后 SparkContext 始终跟随着 Spark 的迭代不断向前。SparkContext 内部虽然已经发生了很大的变化，有些内部组件已经废弃，有些组件已经优化，还有一些新的组件不断加入，不断焕发的强大的魅力，是 Spark 的灵魂。

/**

 * Main entry point for Spark functionality. A SparkContext represents the connection to a Spark

 * cluster, and can be used to create RDDs, accumulators and broadcast variables on that cluster.

 *

 * Only one SparkContext may be active per JVM.  You must `stop()` the active SparkContext before

 * creating a new one.  This limitation may eventually be removed; see SPARK-2243 for more details.

 *

 * @param config a Spark Config object describing the application configuration. Any settings in

 *   this config overrides the default configs as well as system properties.

 */

class SparkContext(config: SparkConf) extends Logging

也就是说SparkContext是Spark的入口，相当于应用程序的main函数。目前在一个JVM进程中可以创建多个SparkContext，但是只能有一个active级别的。如果你需要创建一个新的SparkContext实例，必须先调用stop方法停掉当前active级别的SparkContext实例。

图1 Spark 架构图

图片来自Spark官网，可以看到SparkContext处于DriverProgram核心位置，所有与Cluster、Worker Node交互的操作都需要SparkContext来完成。

图2 SparkContext 在 Spark 应用程序中的扮演的主要角色

图3 Driver 上运行的服务组件

2、相关组件

名称	说明
SparkConf	Spark配置类，配置已键值对形式存储，封装了一个ConcurrentHashMap类实例settings用于存储Spark的配置信息。
SparkEnv	SparkContext中非常重要的类，它维护着Spark的执行环境，所有的线程都可以通过SparkContext访问到同一个SparkEnv对象。
LiveListenerBus	SparkContext 中的事件总线，可以接收各种使用方的事件，并且异步传递Spark事件监听与SparkListeners监听器的注册。
SparkUI	为Spark监控Web平台提供了Spark环境、任务的整个生命周期的监控。
TaskScheduler	为Spark的任务调度器，Spark通过他提交任务并且请求集群调度任务。因其调度的 Task 由 DAGScheduler 创建，所以 DAGScheduler 是 TaskScheduler 的前置调度。
DAGScheduler	为高级的、基于Stage的调度器， 负责创建 Job，将 DAG 中的 RDD 划分到不同的 Stage，并将Stage作为Tasksets提交给底层调度器TaskScheduler执行。
HeartbeatReceiver	心跳接收器，所有 Executor 都会向HeartbeatReceiver 发送心跳，当其接收到 Executor 的心跳信息后，首先更新 Executor 的最后可见时间，然后将此信息交给 TaskScheduler 进一步处理。
ExecutorAllocationManager	Executor 动态分配管理器，根据负载动态的分配与删除Executor，可通过其设置动态分配最小Executor、最大Executor、初始Executor数量等配置。
ContextClearner	上下文清理器，为RDD、shuffle、broadcast状态的异步清理器，清理超出应用范围的RDD、ShuffleDependency、Broadcast对象。
SparkStatusTracker	低级别的状态报告API，只能提供非常脆弱的一致性机制，对Job（作业）、Stage（阶段）的状态进行监控。
HadoopConfiguration	Spark默认使用HDFS来作为分布式文件系统，用于获取Hadoop配置信息。

以上的对象为SparkContext使用到的主要对象，可以看到SparkContext包含了Spark程序用到的几乎所有核心对象可见SparkContext的重要性；创建SparkContext时会添加一个钩子到ShutdownHookManager中用于在Spark程序关闭时对上述对象进行清理，在创建RDD等操作也会判断SparkContext是否已stop；通常情况下一个Driver只会有一个SparkContext实例，但可通过spark.driver.allowMultipleContexts配置来允许driver中存在多个SparkContext实例。

3、代码分析

3.1 初始设置

首先保存了当前的CallSite信息，并且判断是否允许创建多个SparkContext实例，使用的是spark.driver.allowMultipleContexts属性，默认为false。

// 包名：org.apache.spark

// 类名：SparkContext

class SparkContext(config: SparkConf) extends Logging {

  

  // The call site where this SparkContext was constructed.

  // 获取当前SparkContext的当前调用栈。包含了最靠近栈顶的用户类及最靠近栈底的Scala或者Spark核心类信息

  private val creationSite: CallSite = Utils.getCallSite()

  

  // If true, log warnings instead of throwing exceptions when multiple SparkContexts are active

  // SparkContext默认只有一个实例。如果在config（SparkConf）中设置了allowMultipleContexts为true，

  // 当存在多个active级别的SparkContext实例时Spark会发生警告，而不是抛出异常，要特别注意。

  // 如果没有配置，则默认为false

  private val allowMultipleContexts: Boolean =

    config.getBoolean("spark.driver.allowMultipleContexts", false)

  
  // In order to prevent multiple SparkContexts from being active at the same time, mark this

  // context as having started construction.

  // NOTE: this must be placed at the beginning of the SparkContext constructor.

  // 用来确保SparkContext实例的唯一性，并将当前的SparkContext标记为正在构建中，以防止多个SparkContext实例同时成为active级别的。

  SparkContext.markPartiallyConstructed(this, allowMultipleContexts)

  ......

}

接下来是对SparkConf进行复制，然后对各种配置信息进行校验，其中最主要的就是SparkConf必须指定 spark.master（用于设置部署模式）和 spark.app.name（应用程序名称）属性，否则会抛出异常。

// 变量声明

// 包名：org.apache.spark

// 类名：SparkContext

private var _conf: SparkConf = _


// 变量处理

// 包名：org.apache.spark

// 类名：SparkContext

_conf = config.clone()

_conf.validateSettings()

  

if (!_conf.contains("spark.master")) {

  throw new SparkException("A master URL must be set in your configuration")

}

if (!_conf.contains("spark.app.name")) {

  throw new SparkException("An application name must be set in your configuration")

}

3.2 创建执行环境 SparkEnv

SparkEnv是Spark的执行环境对象，其中包括与众多Executor指向相关的对象。在local模式下Driver会创建Executor，local-cluster部署模式或者Standalone部署模式下Worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor，所以SparkEnv存在于Driver或者CoarseGrainedExecutorBackend进程中。

创建SparkEnv主要使用SparkEnv的createDriverEnv方法，有四个参数：conf、isLocal、listenerBus 以及在本地模式下driver运行executor需要的numberCores。

// 变量声明

// 包名：org.apache.spark

// 类名：SparkContext

private var _env: SparkEnv = _

 

// 变量处理

// 包名：org.apache.spark

// 类名：SparkContext

def isLocal: Boolean = Utils.isLocalMaster(_conf)

private[spark] def listenerBus: LiveListenerBus = _listenerBus


// Create the Spark execution environment (cache, map output tracker, etc)

_env = createSparkEnv(_conf, isLocal, listenerBus)

SparkEnv.set(_env)

  

private[spark] def createSparkEnv(

    conf: SparkConf,

    isLocal: Boolean,

    listenerBus: LiveListenerBus): SparkEnv = {

  SparkEnv.createDriverEnv(conf, isLocal, listenerBus, SparkContext.numDriverCores(master))

}


/**

 * 获取在本地模式下执行程序需要的cores个数，否则不需要，为0

 * The number of driver cores to use for execution in local mode, 0 otherwise.

 */

private[spark] def numDriverCores(master: String): Int = {

  def convertToInt(threads: String): Int = {

    if (threads == "*") Runtime.getRuntime.availableProcessors() else threads.toInt

  }

  master match {

    case "local" => 1

    case SparkMasterRegex.LOCAL_N_REGEX(threads) => convertToInt(threads)

    case SparkMasterRegex.LOCAL_N_FAILURES_REGEX(threads, _) => convertToInt(threads)

    case _ => 0 // driver is not used for execution

  }

}

3.3 创建 SparkUI

SparkUI 提供了用浏览器访问具有样式及布局并且提供丰富监控数据的页面。其采用的是时间监听机制。发送的事件会存入缓存，由定时调度器取出后分配给监听此事件的监听器对监控数据进行更新。如果不需要SparkUI，则可以将spark.ui.enabled置为false。

// 变量声明

// 包名：org.apache.spark

// 类名：SparkContext

private var _ui: Option[SparkUI] = None

  

// 变量处理

//