standalone模式
- spark-submit提交程序后,dirver和application向master注册
- 创建SparkContext对象,其中包含DAGScheduler和TaskScheduler
- driver把application信息注册给master后,master会根据App信息去worker节点起executor
- executor内部会创建运行Task的线程池,然后把启动的executor反向注册给driver
- DAGScheduler负责把Spark作业转化成stage的DAG,根据宽窄依赖切分stage,然后把stage封装成TaskSet的形式发送给TaskScheduler,同时DAGScheduler还会处理由于shuffle数据丢失导致的失败
- TaskScheduler维护所有的TaskSet,分发Task给各个节点的Executor,监控Task的运行状态,负责重试失败的Task
- tak运行完成后,sparkContext向Master注销,释放资源
yarn-client模式
- spark-submit在提交的时候发送给RM,请求启动ApplicationMaster(AM),分配一个container,在某个NodeManager(NM)启动AM,但是这里的AM只是一个ExecutorLancher,功能有限
- AM启动后会找RM申请container,启动Executor,AM连接其他的NM,用container的资源来启动Executor,Executor会反向注册到本地的driver上
- driver发送task给Executor,计算完成后,driver回收Executor的结果
yarn-cluster模式
- 由client向RM提交请求,并向HDFS上传jar包
- ApplicationsMaster(AMST)向Scheduler申请空闲container
- Scheduler向AMST返回空闲的container信息
- RM根据返回的信息向NM申请资源
- 分配创建一个container并创建Spark Application Master (SAM)此时SAM上运行的是SparkDriver
- SAM启动后,和RM通信,请求根据任务信息向RM申请container来启动executor
- RM将申请到的资源信息返回给SAM
- SAM根据返回的资源信息去请求对应的NM分配container来启动executor
- NM收到请求会启动相应的container来启动executor
- executor启动成功后向SAM反向注册
- executor和SAM完成交互
- 后续的DAGScheduler,TaskScheduler,shuffle等操作和standalone模式一样
- 等到所有的任务执行完后,SAM向RM取消注册释放资源