spark提交到yarn_Spark任务提交方式

1.spark基于自带的Standalone资源调度框架,Driver部署任务到client

这里用到spark-submit一下三个参数

客户端命令:

客户端基于standalone  client提交任务

standalone-client提交任务模型

1):spark集群启动后,worker节点向master节点汇报资源,master节点掌握资源;

2):客户端提交spark application到master,Driver会在客户端启动

提交任务是才会有

3):客户端向master申请资源;

4):master收到请求后找到满足资源的worker

5):Driver向worker发送task,并且监控task的执行,与执行结果汇报客户端控制台

2.spark基于自带的Standalone资源调度框架,Driver部署任务到cluster

客户端命令:

提交后会发现控制退出打印信息

standalone-cluster提交任务模型

1):spark集群启动后,worker节点向master节点汇报资源,master节点掌握资源;

2):客户端提交Spark applicati