Spark 内核解析图

Spark 内核调度架构

---

我们要学习的概念，以及下面这些角色在集群中的功能

1. Application
2. spark-submit
3. Driver
4. SparkContext
5. Master
6. Worker
7. Executor
8. Job
9. DAGScheduler
10. TaskScheduler
11. ShuffleMapTask and ResultTask

先来看看我们画的一张图

---

这个集群模式是Standalone的

• Driver：就是我们用来提交编写的Spark程序的一台机器，在Driver中最重要的一件事—创建SparkContext
• Application ：就是我们编写的程序，类里面创建了SparkContext的程序
• spark-submit: 就是用来向Spark集群提交application的程序，spark-submit，其实说白了就是一个继承了AKKA Actor的actor模型，如果不继承的话，就无法与我们进行master进行通信，就不能向master注册我们编写的application
• SparkContext : 我们在创建SparkContext的过程中,最重要的3件事，其一创建DAGSechedule（有向无循环图调度者）,其二创建TaskScheduler（任务调度者）,三就是依照TaskSecheduler创建TaskSchedulerBackend（任务调度后端）
• DAGScheduler: DAG:有向无环图（Directed acyclic graph）在创建好程序之后，就会把各种算子交给DAGScheduler进行整体的一个调度，我们每一个Application在运行的时候，都会被DAGScheduler分成若干 个Stage,是由相关的划分算法来做的
• 当DAGScheduler接受到任务信息之后，就会指派相关的TaskScheduler对任务进行具体的调度,让我们taskset中的的一批task去执行具体的任务
• TaskScheduler：TaskScheduler ，就会组织，调度task进行任务执行
• 当worker中的 executor 启动之后，会主动反向注册到Driver，当driver收到所有的executor（一组executor）反向注册信息之后，就开始加载数据创建RDD ，将各种算子交给DAGScheduler管理【so 问题来了，driver是如何知道它收到了一组内所有的executor呢，大家还记不记得，Master接收到Driver的注册请求后，进行任务分配，通知各个worker进行接收任务，worker结合之后会做出回应给master任务接收到了，master会告诉driver，worker已经接收任务了，并且master此时此刻将任务分配计划，交给DRIVER,Driver按照这个分配计划，就可以知道是否一组内Executor是否已经全部到达】
• Master: Master主要用于集群的监控，运行资源的分配，Master在分配资源的时候，有两种分配方式，一种spreadapps,一种是非spreadapps，Master实际就是一个AKKA Actor的Actor模型接收到Driver发过来的注册通知，然后衡量任务，需要如何的资源，交给Worker进行干活，其实说白了就是让worker来启动executor进程
• taskRunner: 在我们的task分配过来的时候，executor会从线程池中抽取相应的task，把它给我封装成taskRunner，执行具体的flatmap , map ,reduceByKey等等操作
• 实际上，task任务分为两种，ShuffleMapTask，ResultTask，ResultTask说白了就是执行action的task，其余都是ShuffleMapTask