1 SparkContext哪一端生成的?
Driver端即SparkContext
(Driver 是一个统称,DAGSchedule ,TaskScheduler,BlockManager,ShuffeManager,BroadcastManger)
2 DAG是在哪一端被构建的?
Driver 端
3 RDD是在哪一端生成的?
Driver 端 ,RDD 不装真正要计算的数据,而是记录了数据的描述信息
(以后从哪里读数据,怎么计算)
4 调用 RDD 的算子(Transformation和Action) 是在哪一端调用的
Driver端
5 RDD在调用 Transformation 和 Action 时需要传入一个函数,函数是在哪一端声明【定义】 和传入的?
Drve端
6 RDD 在调用Transformation 和 Action时传入函数,请问传入的函数是在哪一端执行了函数的业务逻辑 ?
Executor 中的 Task 指定的
7 Task 是在哪一端生成的?
Driver端 ,Task 分为ShuffleMap 和 ResultTask
8 DAG 是在哪一端构建好的并被切分成一到多个Stage的
Driver
9 DAG 时哪个类完成的切分Stage 的 功能的 ?
DAGScheduler
10 DAGScheduler 将 切分好的 Task 以什么样的形式给TaskScheduler
TaskSet
11 分区器这个类是在哪一端实例化的
Driver端
12 分区器中的 getParition 方法在哪一端调用的呢?
Executor 中的 Task
13 广播变量的 Broadcast 方法是在哪一端调用的方法进行广播的
Driver 端
14 要广播的数据应该在哪一端先创建好再广播呢?
Driver 端
15 广播变量以后能修改吗?
不能修改
16 广播变量广播到Executor 后,一个Executor 进程中有几份广播变量的数据
一份全部的广播的数据