Standalone-cluster 提交任务流程

./spark-submit --master spark://mynode1:7077
--deploy-mode cluster --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-
3.0.1.jar 100

执行流程

1. cluster 模式提交应用程序后，会向 Master 请求启动 Driver.
2. Master 接受请求，随机在集群一台节点启动 Driver 进程。
3. Driver 启动后为当前的应用程序申请资源。
4. Driver 端发送 task 到 worker 节点上执行。
5. worker 将执行情况和执行结果返回给 Driver 端。

总结 Standalone 两种方式提交任务，Driver 与集群的通信包括：

1. Driver 负责应用程序资源的申请
2. 任务的分发。
3. 结果的回收。
4. 监控 task 执行情况。