SparkContext初始化

· 前言

  本文主要目的是弄清楚SparkContext中比较重要的组件的初始化顺序及产生的作用，以此对Spark大数据引擎的实现原理有深入一点的认识。个人觉得，SparkContext可以比喻成Spark世界的一扇窗户，打开窗子便能了解屋内的一个大致全貌。对于从整体上来学习和掌握Spark很有帮助。我个人也是基于这样的目的写这些文章。

  SparkContext，字面意思很形象，即Spark上下文，在计算机世界里上下文表示程序的执行环境，在中断中常有上下文的说法，当线程被中断时，系统保存了线程的上下文环境，中断结束时系统又根据保存的上下文恢复被中断程序的执行。

· 大体初始化过程

一、创建Spark执行环境SparkEnv

  首先，我们知道执行环境就是根据用户指定的参数来初始化一个程序的运行环境。必不可少、也显而易见，创建过程肯定要传入conf配置信息。

_env = createSparkEnv(_conf, isLocal, listenerBus)
    SparkEnv.set(_env)

  可以看到除了conf外还有listenerBus参数，这个是监听器总线，总线在硬件电路里边是经常用到的概念，顾名思义，所有通信信号都要通过总线走，无一例外。我觉得这么叫很形象，虽然bus是公共汽车的意思。对于listenerBus，所有监听器都注册到其上，总线监听事件并匹配监听器处理各类事件。

下边我们具体看看createSparkEnv都做了些什么？

1、创建安全管理器SecurityManager，主要用于对权限、账号进行设置。

val securityManager = new SecurityManager(conf, ioEncryptionKey)

2、创建RpcEnv，用于分布式系统间通信，使用Netty应用框架。在写这篇文章时，使用的是Spark2.4.0版本，里边用到的通信框架是Netty。在《深入理解Spark》一书中所说的基于Akka的分布式消息系统ActorSystem在这里并没有看到，因为在1.6版本以后，Spark中的通信框架就由Akka改为了Netty。至于为什么会有这样的改进，有兴趣的伙伴可以研究下，文末也有个链接，可以帮助了解下，技术进步很快呀。

val rpcEnv = RpcEnv.create(systemName, bindAddress, advertiseAddress, port.getOrElse(-1), conf,
      securityManager, numUsableCores, !isDriver)

3、创建SerializerManager，主要用于设置使用序列化器，对RDD、广播、dependency等序列化使用。另外closureSerializer主要用于对闭包的序列化。

val serializerManager = new SerializerManager(serializer, conf, ioEncryptionKey)

4、创建BroadcastManager，主要用于广播及对广播变量的管理。用于将配置信息和序列化后的RDD、Job以及ShuffleDependency等信息在本地存储。

val broadcastManager = new BroadcastManager(isDriver, conf, securityManager)

5、创建mapOutputTracker，用于对map任务的输出进行跟踪。

val mapOutputTracker = if (isDriver)