Spark之Spark内核工作流程

这是一个较为细粒度的Spark运行流程。

• 我们写的Spark程序叫做Application。
• Application会通过spark-submit来提交给Spark集群来运行。具体来说就是spark-submit会通过反射机制来创建和构造一个DriverActor进程出来。这里的Driver就是我们的驱动程序，它负责执行我们的代码，当然在执行代码的时候首先会初始化SparkContext。
• 在初始化SparkContext的时候主要会执行两件事情。第一就是构建TaskScheduler与DAGScheduler。接下来进行详细的解释。

        1)在我们写的Spark的代码中有很多的算子操作。当代码执行到每一个action的时候就会创建一个job。然后这个job会交给DAGScheduler，DAGScheduler会将job划分为多个stage，然后每个stage创建一个TaskSet再将这个TaskSet交给TaskScheduler。

       2) TaskScheduler首先会向Master注册这个Application。Master在接收到注册信息之后会使用自己的资源调度算法在Spark集群的Woker上为这个Application启动多个Executor。Executor在启动之后会反向注册给TaskScheduler。这时TaskScheduler就会将TaskSet中的任务提交到Executor运行。而Executor每收到一个task都会用TaskRunner来封装这个Task，然后再取出一个线程来执行这个task。

       3)Spark就是通过这样的通过Stage分批次的作为TaskSet提交到executor来执行的。其中每一个task对应着一个partition来的数据来执行。

附加说明：

• 上面我们提到了TaskRunner，它具体做的事情就是将我们写的代码也就是执行的算子和函数反序列化到各个工作节点去执行。
• Task有两种类型，ShuffleMapTask和ResultTask，只有最后一个Stage所涉及的task为ResultTask其余都是ShuffleMapTask。