Spark运行架构

废话不多说，上个图：

下面我们开始进入正题：一键三连

1：基本的概念：

（1）RDD：是弹性分布式数据集（Resilient Distributed Dataset）的简称，是分布式内存的一个抽象的概念，提供了一种高度受限的共享内存模型。
（2）DAG：是有向无环图（Directed Acyclic Graph）的简称，反应RDD之间的依赖关系。
（3）Executor：是运行在工作节点（Worker Node）上的一个进程，负责运行任务，并为应用程序存储数据。
（4）Application：是用户编写的Spark应用程序。
（5）Task：是运行在Executor上的工作单元。
（6）Job：一个作业包含多个RDD及作用于相应RDD上的各种操作。
（7）Stage：是作业调度的最基本单位，一个作业会分为多组任务，每组任务被称为“阶段”