Spark系列九:SparkCore的经典总结——Spark任务执行各对象创建的时机

1.SparkContext哪一端生成的?
    Driver端

2.DAG是在哪一端被构建的?
    Driver端
    
3.RDD是在哪一端生成的?
    Driver端

4.广播变量是在哪一端调用的方法进行广播的?
    Driver端

5.要广播的数据应该在哪一端先创建好再广播呢? 
    Driver端

6.调用RDD的算子(Transformation和Action)是在哪一端调用
    Driver端
    
7.RDD在调用Transformation和Action时需要传入一个函数,函数是在哪一端声明和传入的?
    Driver端

6.RDD在调用Transformation和Action时需要传入函数,请问传入的函数是在哪一端执行了函数的业务逻辑?
    Executor中的Task执行的

7.自定义的分区器这个类是在哪一端实例化的?
    Driver端

8.分区器中的getParitition方法在哪一端调用的呢?
    Executor中的Task中调用的

9.Task是在哪一端生成的呢? 
    Driver端

10.DAG是在哪一端构建好的并被切分成一到多个State
    Driver端

11.DAG是哪个类完成的切分Stage的功能?
    DAGScheduler
    
12.DAGScheduler将切分好的Stage以什么样的形式给TaskScheduler
    TaskSet
    


 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值