Spark通信--client、master、worker间的通信

最新推荐文章于 2024-08-03 11:07:23 发布

小码哥_6

最新推荐文章于 2024-08-03 11:07:23 发布

阅读量3.1k

点赞数 1

分类专栏： spark 文章标签： spark 通信应用

本文链接：https://blog.csdn.net/xiaomage167/article/details/61427724

版权

本文详细介绍了Spark应用中client、master和worker之间的通信过程。从Spark提交任务开始，通过SparkContext创建，DAGScheduler和TaskScheduler的构建，到Driver与Worker的交互，包括Executor的启动、注册、任务调度等环节。文章还阐述了Master如何管理Worker，以及通信过程中的关键消息交换，如RegisterApplication、ExecutorAdded等。

摘要由CSDN通过智能技术生成

1、构建RDD
2、构建DAGScheduler
3、构建TASKScheduler
4、提交到worker
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
1.首先通过Spark-shell 提交任务的时候，启动Spark-Submit类，然后通过反射调用自定义的app的main方法。
2、在WC的main方法中，加载默认的配置，SparkConf,接着创建非常重要的SparkContext，它是通往集群的入口。
3、在SparkContext中完成了重要的三件事情，创建Spark-env（创建ActorSystem，用于创建DriverActor和ClientActor）构建DAGScheduler和TaskScheduler。
4、通过SparkEnv来创建createDriverEnv，调用自己的Create方法来创建createDriverEnv.这里调用了CreateDriverEnv,返回一个SparkEnv对象，这个对象里面有很多重要的属性，最重要的就是ActorSystem。
5、创建TaskScheduler（createTaskScheduler），这里有很多的正则表达式，用来匹配模式，根据URL选择不同的方式。SPARK_REGEX，spark的standalone模式，首先new TaskSchedulerImpl。
6、接着val backend = new SparkDeploySchedulerBackEnd,初始化了一个调度器，默认是FIFO.
7、scheduler.initialize(backend) (backend,scheduler).
8、在TaskSchedulerImpl中用backend调用start方法。
9