spark任务提交方式standalone-client和standalone-cluster对比

spark中Standalone有两种任务提交模式，分别是Standalone-client模式和Standalone-cluster模式，其区别如下：

一、standalone-client任务提交方式

1、client模式提交任务后，会在客户端启动Driver。

2、Driver与Master通信，为当前的Application申请资源。

3、Master接受到资源申请，Master跟Worker进行RPC通信，让Worker启动Executor。

4、Worker启动Executor。

5、Executor跟Driver进行通信。

6、rdd触发action操作后，会根据最后这个rdd从后往前推断依赖关系，遇到shuffle就好切分stage，会递归切分，递归的出口是某个rdd没有父rdd了，DAGScheduler切分完stage后，先提交前面的stage，执行完后再提交后面的stage，stage会生产task，一个stage会生产很多业务逻辑相同的task，然后将以TaskSet的形式传递给TaskScheduler，然后TaskScheduler将Task序列化，根据资源情况，发送给Executor。

7、Executor接收到Task，先将task反序列化，然后将task用一个实现了Runnable接口的实现类包装起来，然后将该包装类丢入到线程池，然后包装类的run方法就会被执行，进而调用task的计算逻辑。

二、standalone-cluster任务提交方式

1、cluster模式下提交应用程序后，会向Master申请启动Driver。

2、Master接受请求后，向Worker请求启动Driver。

3、Worker 收到请求后启动 Driver。

4、Driver启动后，向Master申请资源。

5、资源申请成功后，Master跟Worker进行RPC通信，让Worker启动Executor

6、Worker启动Executor

7、Executor跟Driver进行通信，Driver将Task发送到Worker执行。

8、Worker将执行情况和执行结果返回给Driver端。

总结：Standalone-client模式Driver进程是在客户端启动的，这里的客户端是指提交任务的那个节点。Driver端可以看到Task执行的情况。

Standalone-cluster模式Driver进程是在集群中某一台Worker上执行的，客户端无法查看Task执行情况。