1、spark core
核心概念: RDD 理解为一个元数据即可。
(1)依赖
(2)分区
(3)本地性
(4)计算函数,按照分区为单位进行计算
(5)不可变
RDD的分区和block一一对应。
2、spark driver
(1) sparkcontext
(2) DAGScheduler
执行stage划分;按照宽依赖进行划分
stage提交;对stage按照id进行排序后,逐个提交
submitMissingTask -->构造tasks
(3) TaskScheduler
TaskScheduleImpl
yarnScheduler
yarnClusterScheduler
taskScheduler完成tasks提交
schedulerBackend初始化
yarn的创建yarnclient,创建AM
AM和NM配合,构造参数,启动container,其实也就是启动CoarseGrainedExecutorBackend进程。
taskscheduler提交task的时候,对于每个taskset,内部有taskManager,也有schedulerBuilder,来控制这个taskset内部task的提交顺序,生成一个seq taskDescription
调用SchedulerBackend的reviveOffer(),继续调用makeOffers(),根据资源逐个提交task
(4) SchedulerBackend
YarnClientScheduleBackend
YarnClusterSchedulerBackend
4、CoarseGrainedExecutorBackend executor launchTask()
内部存在一个Executors线程池,n可以用来执行提交的task TaskRunner
ShuffleMapTask ResultTask
5、TaskRunner: 反序列化task, runTask,使用真正的ShuffleMapTask和ResultTask来进行执行。
ShuffleMapTask执行的时候,会调用SuffleWriteProcessor调用这个stage的RDD的iterator方法
对于rdd的每个分区,这个iterartor方法会调用 MapPartitionRDD(也可能是别的RDD),依次递归找到这个RDD的父依赖,依次执行每个rdd的compute方法。对于最后的结果,SuffleWriteProcessor会执行write操作
ResultTask : 它执行的时候,主要是调用自己的函数进行数据落地。
问题:
1、mapoutputTracker的作用?
2、shuffleWriteProcessor的具体处理过程?
3、shuffle的整体流程
4、blockManager的作用? ---》getPreferredLocation()可能能用到