Spark 任务执行经典十八问

1 SparkContext哪一端生成的？

Driver端即SparkContext
（Driver 是一个统称，DAGSchedule ，TaskScheduler，BlockManager，ShuffeManager，BroadcastManger）

2 DAG是在哪一端被构建的？

Driver 端

3 RDD是在哪一端生成的？

Driver 端 ，RDD 不装真正要计算的数据，而是记录了数据的描述信息
（以后从哪里读数据，怎么计算）

4 调用 RDD 的算子（Transformation和Action） 是在哪一端调用的

Driver端

5 RDD在调用 Transformation 和 Action 时需要传入一个函数，函数是在哪一端声明【定义】 和传入的？

Drve端

6 RDD 在调用Transformation 和 Action时传入函数，请问传入的函数是在哪一端执行了函数的业务逻辑 ？

Executor 中的 Task 指定的

7 Task 是在哪一端生成的？

Driver端 ，Task 分为ShuffleMap 和 ResultTask

8 DAG 是在哪一端构建好的并被切分成一到多个Stage的

Driver

9 DAG 时哪个类完成的切分Stage 的 功能的 ？

DAGScheduler

10 DAGScheduler 将 切分好的 Task 以什么样的形式给TaskScheduler

TaskSet

11 分区器这个类是在哪一端实例化的

Driver端

12 分区器中的 getParition 方法在哪一端调用的呢？

Executor 中的 Task

13 广播变量的 Broadcast 方法是在哪一端调用的方法进行广播的

Driver 端

14 要广播的数据应该在哪一端先创建好再广播呢？

Driver 端

15 广播变量以后能修改吗？

不能修改

16 广播变量广播到Executor 后，一个Executor 进程中有几份广播变量的数据

一份全部的广播的数据