目录
- 1、yarn-client 模式
- 2、yarn-cluster 模式
- 3、对比分析
1、yarn-client 模式
- 1、driver在本机启动
- 2、driver跟cluster manager申请资源,yarn-client,ResourceManager
- 3、RM分配一个container资源,在一个NM上,启动AM(ExecutorLauncher)
- 4、AM会找RM去申请资源,启动executor进程
- 5、RM会分配container给AM,然后AM会拿着container去找对应的NM,去启动executor进程
- 6、driver就可以给executor进程分配task,执行作业
2、yarn-cluster 模式
3、对比分析
在yarn-client 模式:,
- driver运行在spark-submit提交的机器上,ApplicationMaster只是相当于一个ExecutorLauncher,仅仅负责申请启动executor;具体负责调度的,还是driver ;
- driver所在机器可能跟yarn集群不在一起,所以性能可能比较差 ;
- 用于在测试环境中,进行测试,方便你看日志 。
在yarn-cluster模式:
- ApplicationMaster是driver;具体负责调度的,也是ApplicationMaster;
- driver(AM)就在yarn集群中,进行复杂调度的时候,网络通信性能较好 ;
- 推荐作业部署上线运行时使用,性能比较好。