超级会员免费看
本文详细解析了Spark中Driver与Master的交互过程，从SparkSubmit开始，通过SparkSubmitArguments解析参数，到启动子进程org.apache.spark.deploy.Client，建立Driver与Master的通信。在Standalone模式下，ClientEndpoint作为Driver的消息循环体，通过向Master发送RequestSubmitDriver请求完成Driver的注册。随后Master调度资源，向Worker发送LaunchDriver消息，启动Executor。整个过程中，配置参数在各个节点间传递，确保Executor的正确启动和运行。
6.3.2 Driver和Master交互原理解析
Driver和Master进行交互，Master是一个消息循环体，本章节讲解Driver消息循环体的产生过程，Drvier消息循环体生成之后，就可以与Master互相通信。
在Spark应用程序提交的时候，我们会提交一个spark-submit脚本，spark-submit脚本中直接运行了org.apache.spark.deploy.SparkSubmit这个对象。Spark-submit脚本内容如下所示。
1. #!/usr/bin/env bash 2. SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)" 3. export PYTHONHASHSEED=0 4. exec "$SPARK_HOME"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"//运行SparkSubmit |
进入到SparkSubmit中，main函数代码如下所示。
SparkSubmit.scala源码：
订阅专栏 解锁全文
扫一扫
9287
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
