Spark和Hadoop容易混淆的概念

集群架构方面：

Standalone模式：集群遵循主从架构，主（Master进程）从（Worker进程）

On Yarn模式：集群遵循主从架构，主（ResourceManager进程）从（NodeManager）

以上两种模式的主从进程生命周期为从集群开始到结束位置；

驱动器（Driver）和执行器（executor）：

驱动器和执行器生命周期以应用为准。

驱动器节点和所有的执行器节点一起被称为一个Spark 应用（application）。

集群管理器的作用：

驱动器的作用：

a.应用程序的入口，它执行用户编写的，用来创建sparkContext，创建RDD，进行RDD转化操作（transformation）或行动操作（action）的代码；

b.将程序(对RDD处理)转换为任务(Task)：

Spark 驱动器程序负责把用户程序转为多个物理执行的单元，这些单元也被称为任务task

 Spark 程序其实是隐式地创建出了一个由操作组成的逻辑上的有向无环图（Directed Acyclic Graph，简称DAG）

为执行器节点调度任务

执行器的作用：

a.Spark执行器节点是一种工作进程，负责在Spark作业中运行任务，任务间相互独立

b.Spark应用启动时，执行器节点就被同时启动，并且始终伴随着整个Spark应用的生命周期而存在