【Spark内核源码】SparkContext中的组件和初始化

目录

SparkContext概述

SparkContext组件概述

SparkContext初始化过程

第一步：确保当前线程中没有SparkContext在运行

第二步：版本反馈

第三步：真正的初始化

第四步：确认启动成功

---

SparkContext概述

在【Spark内核源码】Word Count程序的简单分析 当中使用Spark Shell编写了简单的Word Count程序，在进入Spark Shell的时候，Spark Shell为我们自动创建了SparkContext sc。

Spark应用程序的第一步就是创建并初始化SparkContext，SparkContext的初始化过程包含了内部组件的创建和准备，主要涉及网络通信、分布式、消息、存储、计算、调度、缓存、度量、清理、文件服务和UI等方面。它是Spark主要功能的入口点，链接Spark集群，创建RDD、累加器和广播变量，一个线程只能运行一个SparkContext。SparkContext在应用程序中将外部数据转换成RDD，因此建立了第一个RDD，也就是说SparkContext建立了RDD血缘关系的根，是DAG的根源。

SparkContext组件概述

SparkContext的组件如下图所示：

各组件的说明如下：

listenerBus：Spark事件总线，接收各个使用方的事件，以异步的方式对事件进行匹配和处理。

_ui:Spark用户界面,间接依赖于计算引擎、调度系统、存储体系、作业、阶段、存储、执行器等组件的监控数据，以SparkListenerEnvent的形式投递给LiveListener，SparkUI从SparkListener中读取数据。

_taskScheduler:任务调度器，调度系统中最重要的组件之一，按照调度算法对集群管理器已经分配给应用程序的资源进行二次调度后分配任务,TaskScheduler调度的task是DAGScheduler创建的，因此DAGScheduler是TaskScheduler的前置调度器。

_statusTracker：状态跟踪器，提供对作业、stage等的监控信息。

_shutdownHookRef：任务退出时执行清理任务。

_schedulerBackend：用于对接不同的资源管理系统。

_progressBar：进度条，利用SparkStatusTracker的API，在控制台展示Stage的进度。

_jobProgressListener：作业进度监听器，会注册到LiveListenerBus中作为时间监听器使用。

_cleaner：上下文清理器，用异步方式清理超出应用程序范围的RDD、ShuffleDependency和BroadCast。

_conf：Spark配置，以k-v的形式保存着Spark应用程序的配置信息。

_dagScheduler：DAG调度器，调度系统中最重要的组件之一，负责创建job，将DAG的RDD划分为不同的stage，提交stage。

_env：Spark运行时环境。

_eventLogger：将事件日志的监听器，Spark可选组件，spark.eventLog.enabled=true时启动。

_executorAllocationManager：Executor动态分配管理器，根据工作负载动态调整Executor的数量，在spark.dynamicAllocation.enabled=true的前提下，和非local模式下或者spark.dynamicAllocation.testing=true时启动。

_hadoopConfiguration：hadoop的配置信息，如果使用的是系统SPARK_YARN_MODE=true或者环境变量SPARK_YARN_MODE=true时，启用yarn配置，否则启用hadoop配置。

_heartbeatReceiver：心跳接收器，Executor都会向heartbeatReceiver发送心跳信息，heartbeatReceiver接收到信息后，更新executor最后的可见时间，然后传递给taskScheduler做进一步处理。

<