Spark Application

名称	解释
Application	被提交的Spark作业。由一个Driver和多个Executor构成。
Driver program	运行main主函数并创建SparkContext的进程。
Cluster manager	获取资源的额外服务
Worker node	运行Spark程序的节点
Executor	节点上运行task和存储数据的进程。每一个Application都有自己的多个Executor
Task	Executor中的工作单元
Job	由多个tasks组成的并行计算
Stage	每一个job将task划分为多个stage

当程序要运行在集群时，sparkContext会连接到用于分配资源的集群管理器(standalone, yarn, k8s等)。
连接后，Spark会申请Executor。
然后， SparkContext会将Application代码发送到各个Executor。
最后SparkContext向Executor发送task去计算。

转载于:https://my.oschina.net/dreamness/blog/3094009