《Spark大数据分析：核心概念、技术及实践》一3.8 Spark作业

 本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第3章，第3.8节，作者[美]　穆罕默德·古勒（Mohammed Guller），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.8　Spark作业

RDD上的转换、操作和缓存方法构成了Spark应用的基础。从本质上说，RDD描述了Spark编程模型。既然我们介绍过了编程模型，那么接下来我们介绍在Spark应用中这些是怎么结合在一起的。

作业指的是Spark将要执行的一些计算，它们将操作的结果返回给驱动程序。一个应用可以发起一个或多个作业。通过调用RDD的操作方法可以发起一个作业。也就是说，一个操作方法会触发一个作业。如果一个操作是从未缓存的RDD或未缓存RDD的后代RDD发起的，Spark将会从存储系统中读取数据，从此开始作业。如果一个操作是从缓存过的RDD或者缓存过的RDD的后代RDD发起的，那么Spark就会从那个缓存过的RDD开始作业。接下来，Spark会按照操作方法的要求执行必要的转换操作来创建RDD。最后，执行操作所需的计算，一旦结果出来后，便将它返回给驱动程序。

当一个应用调用RDD的操作方法时，Spark会创建由若干个阶段构成的DAG。Spark根据shuffle边界来将不同任务划分成不同的阶段。不需要shuffle操作的任务被划分到同一个阶段。那些输入数据是已经做过shuffle操作的任务将开始一个新的阶段。

一个阶段可以由一个或者多个任务构成。Spark把任务提交给执行者，执行者将并行执行任务。在节点间调度任务的依据是数据分布情况。如果一个节点在处理任务时失效了，Spark会把这个任务提交给其他节点。