spark 任务详解

以下是我对spark任务提交的理解

1、将我们编写的程序打成jar包

2、调用spark-submit脚本提交任务到集群上运行

3、运行sparkSubmit的main方法，在这个方法中通过反射的方式创建我们编写的主类的实例对象，然后调用main方法，开始执行我们的代码（注意，我们的spark程序中的driver就运行在sparkSubmit进程中）

4、当代码运行到创建SparkContext对象时，那就开始初始化SparkContext对象了

5、在初始化SparkContext对象的时候，会创建两个特别重要的对象，分别是：DAGScheduler和TaskScheduler
【DAGScheduler的作用】将RDD的依赖切分成一个一个的stage，然后将stage作为taskSet提交给DriverActor

6、在构建taskScheduler的同时，会创建两个非常重要的对象，分别是DriverActor和ClientActor
【clientActor的作用】向master注册用户提交的任务

【DriverActor的作用】接受executor的反向注册，将任务提交给executor

7、当clientActor启动后，会将用户提交的任务和相关的参数封装到ApplicationDescription对象中，然后提交给master进行任务的注册

8、当master接受到clientActor提交的任务请求时，会将请求参数进行解析，并封装成Application，然后将其持久化，然后将其加入到任务队列waitingApps中

9、当轮到我们提交的任务运行时，就开始调用schedule()，进行任务资源的