Spark概念理解

一、整体结构

1、 Application

每一次通过Spark-submit命令提交的Jar包，都可以看成一个Spark应用程序。它是集群资源器调度的基本单位，一个应用程序对应一个驱动程序。

用户程序，如计算PI的值，统计数据报表等

2、Driver Program

驱动程序就是执行了一个Spark Application的main函数和创建Spark Context的进程，它包含了这个application的全部代码。

问题：Driver是跑在哪个节点上，对应到U服务呢？

3.Master节点
运行Master守护进程的集群节点，管理整个集群，一个集群中，只有一个Active的Master节点。Master节点有两个用途：一是应用程序的调度，对用户提交的应用程序，进行执行先后顺序的调度；二是资源调度，由于集群的资源实际是指Worker节点上的计算和内存资源，因此Master节点是对Worker节点进行资源上的调度。

问题：和YARN有什么关系？

4.Worker节点
运行Worker守护进程的集群节点，是集群资源的贡献节点，一个Worker内部可以包含多个Executor。一个集群中，Worker节点一般会有多个，并且受到Master节点的管理。

就是计算节点。

5.任务执行器(Executor)

Worker节点上执行任务的地方，一个Worker节点可能有多个Executor，每个Executor都拥有固定的核心数量和堆栈大小，并维护一