spark 获取广播变量_阿里大数据架构师分享：Spark源码解析

首先看一段使用scala编写的spark代码：

package spark0719
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
 
object Ttspark {
 
val conf =new SparkConf().setAppName("sp").setMaster("local")
 
def main(args: Array[String]): Unit = {
     val sc=new SparkContext(conf)
     val number=sc.parallelize(1 to 9)
     def  mapDoubleFunc(num:Int):(Int,Int)={
         (num,num*2)
  }
  val mapResult=number.map(mapDoubleFunc)
      mapResult.collect//foreach(println)/savaAsTextFile("file:///") 
 
  //sc.testFile("file:///")
 
  }
 

第一行（package spark0719）最开始是程序的包名package。

第二、三行（import org.apache.spark.SparkConf）

是使用import引入程序包。

第四行（object Ttspark ）开始是有一个object开始的，这个是伴生对象，spark或者说scala引入伴生对象的原始是需要静态的代码块，因为scala里不存在static的概念，但是scala的底层又是用java实现的，java内存在着大量的static部分程序，最具代表的就是main函数，在scala中也是使用main函数执行的，这就造成了一个矛盾，java的main是static，scala又没有static代表main不能执行，为了解决这个矛盾，scala引入了伴生对象的概念，所有的static的东西都放在object（伴生对象）中实现。

第五行（

val conf =new SparkConf().setAppName("sp").setMaster("local")

）定义一个常量conf，重点是SparkConf，SparkConf是用于设置Spark的配置属性

​

​

由第一幅图可以看到getSystemProperties获取的是配置文件，由第二图可以看到，sparkConf里设置master节点、appName、jar包等。所以程序中sparkConf后面直接调用了setMaster和setAppname函数进行两个参数的设置，第二个的local表示本地运行。

第五行（def main(args: Array[String]): Unit =）表示主运行函数开始，main括号内表示args是一个Array类型，Array中是String类型，返回值是Unit（无返回类型相当于java的void），

第六行（val sc=new SparkContext(conf)），定义一个sc接受实例化的SparkContext。

sparkContext在Spark应用程序的执行过程中起着主导作用，它负责与程序和spark集群进行交互，包括申请集群资源、创建RDD、accumulators及广播变量等。sparkContext与集群资源管理器、work节点交互图如下：

​

官网对图下面几点说明：
（1）不同的Spark应用程序对应不同的Executor，这些Executor在整个应用程序执行期间都存在并且Executor中可以采用多线程的方式执行Task。这样做的好处是，各个Spark应用程序的执行是相互隔离的。除Spark应用程序向外部存储系统写数据进行数据交互这种方式外，各Spark应用程序间无法进行数据共享。
（2）Spark对于其使用的集群资源管理器没有感知能力，只要它能对Executor进行申请并通信即可。这意味着不管使用哪种资源管理器，其执行流程都是不变的。这样Spark可以与不同的资源管理器进行交互。
（3）Spark应用程序在整个执行过程中要与Executors进行来回通信。
（4）Driver端负责Spark应用程序任务的调度，因此最好Driver应该靠近Worker节点。

1.源码鉴赏-综述

在spark程序运行起来后，程序就会创建sparkContext，解析用户的代码，当遇到action算子时开始执行，但是在执行之前还有很多前提工作要在sparkContext中做的，请记住你要了解了sparkContext，你就了解了spark。

​

sparkContext构建的顶级三大核心：DAGScheduler，TaskScheduler，SchedulerBackend.

1. DAGScheduler是面向Job的Stage的高层调度器。
2. TaskScheduler是一个接口，是低层调度器，根据具体的ClusterManager的不同会有不同的实现。Standalone模式下具体实现的是TaskSchedulerlmpl。
3. SchedulerBackend是一个接口，根据具体的ClusterManger的不同会有不同的实现，Standalone模式下具体的实现是SparkDeloySchedulerBackend。

• 从整个程序运行的角度来讲，sparkContext包含四大核心对象：DAGScheduler,TaskScheduler，SchedulerBackend，MapOutputTrackerMaster。
• SparkDeploySchedulerBackend有三大核心功能：

1. 负责接收Master接受注册当前程序RegisterWithMaster。
2. 接受集群中为当前应用程序而分配的计算资源Executor的注册并管理Executor。
3. 负责发送Task到具体的Executor执行。
4. SparkDeploySchedulerBackend是被TaskSchedulerlmpl管理的。

sparkContext变量初始化

创建sparkContext的时候会做很多初始化事情，初始化很多变量。

​

事件监控总线：

​

第一个重要的初始化来了：这个地方是创建sparkEnv，就是创建actor，根据判断创建dirver-actor

​

sparkContext的三大核心：这个只是一个定义getter和setter的方法，scala和java是有区别的，可以看看语法。但请时刻记住这三个核心。

​

从try开始了真正意义上的初始化操作了：396行。

​

_conf = config.clone()：调用clone函数进行conf的复制

_conf.validateSettings()：检查一些关键配置和是否存在，一些默认配置如果不存在，添加默认设置参数。

_conf.set("spark.executor.id", SparkContext.DRIVER_IDENTIFIER)：请注意这个，其实在spark眼里没有driver的概念，都是Executor，只是id标签标记为了driver而已。

下面是三大核心的创建：

​

创建createTaskScheduler：根据master的运行情况创建：

​

这个地方用到了正则匹配来判断master的模式，我们以standalone的模式来讲解：

​

根据模式匹配:TaskSchedulerImpl 创建，注意集群模式默认重试4次，本地模式只尝试1次（val backend = new LocalBackend(sc.getConf, scheduler, 1)）。

​

可以自己观察一下其他模式的创建情况，但是会发现TaskSchedulerlmpl基本上是一样。

val scheduler = new TaskSchedulerImpl(sc)：主要的是初始化一些变量。

scheduler.initialize(backend)：创建资源配置池和资源调度算法，同时通过SchdulableBuilder.addTaskSetmanager：SchdulableBuilder会确定TaskSetManager的调度顺序，然后按照TaskSetManager来确定每个Task具体运行在哪个ExecutorBackend中。

​

创建_dagScheduler = new DAGScheduler(this)

​

启动taskScheduler

​

第六行（val number=sc.parallelize(1 to 9)）表示在本地加载9个数，还有另一种加载方式，使用外部数据 sc.textFile(“file:///”).下图为parallelize的源码

​

1、我们看到[T:ClassTag]可能非常奇怪是什么意思？

ClassTag
源码中的解释，在泛型中，type T是被擦除的。这个是非常有用的，在我们构建数组的时候，但是数组的类型我们也不知道，编译的时候不知道，但是运行的时候要知道，ClassTag只包含实际运行时的类的类型。
ClassTag会帮我们存储T的信息，根据类型推到可以指定T是I什么类型，这时候ClassTag就可以把此类型信息传递给编译器。ClassTag运行时指定在编译的时候无法指定的类型信息。
不需要写这样写，implicit m : Manifest[T]

2、紧接着小括号内是两个参数，一个是Seq是一个集合，代表任何类型任何数据的集合，第二个参数是输入：(seq: Seq[T],numSlices: Int = defaultParallelism)seq是一个序列，numSlices有一个默认值defaultParallelism，它的大小是有task决定，task在默认情况下又是core决定，RDD[T]代表返回类型是任何类型的RDD（即在此刻构建RDD），后面的withScope是一个函数，它是用来做DAG可视化的（DAG visualization on SparkUI），以前的sparkUI中只有stage的执行情况，也就是说我们不可以看到上个RDD到下个RDD的具体信息。于是为了在sparkUI中能展示更多的信息。所以把所有创建的RDD的方法都包裹起来，同时用RDDOperationScope 记录 RDD 的操作历史和关联，就能达成目标。

3、后面的assertNotStopped()是用来检查context时候存在的，由下图可以看出首先获取activeContext，检查是否为空，不空获取信息，如果获取的是一个挺尸的SparkContext抛出异常。

​

4、最后一句是关键：new ParallelCollectionRDD[T](this, seq, numSlices, Map[Int, Seq[String]]())，如下是ParallelCollectionRDD源码

​

ParallelCollectionRDD这个类重写了RDD内部原始的三个方法。重点部分是getPartition这个函数。用于获取数据的分片信息。以上解释我们知道该函数是用于创建RDD，获取数据，获取sparkcontext信息，获取分片等重要信息，可以说该函数是程序的开始。

• 八、九行是自己写的一个函数

def mapDoubleFunc(num:Int):(Int,Int)={
  (num,num*2)
  }

该函数一个参数是Int类型，返回值是两个都是Int类型，大括号内是函数体，表示返回参数本身和参数成2

第十行（val mapResult=number.map(mapDoubleFunc)）表示把加载好的1到9交给map处理，map是一个RDD的算子，里面传了自定义的函数作为参数，实现所有的数输出的结果是本身和本身乘2

第十一行（mapResult.foreach(println)）表示把map的结果使用foreach进行循环，把所有值都逐一打印出来。

对于map和foreach这类的RDD后续会重点介绍。觉得文章有用的可以点个赞，关注一下我们哦!你的关注是我更新的动力~也可以关注一下我们的交流圈哦！