Spark术语解释

术语解释

名词	含义
Application	用户在spark上的程序，由一个driver程序和数个executor组成
Application jar	包含用户Spark应用程序的jar包
Driver program	运行main函数并且创建SparkContext的程序
Cluster manager	集群的资源管理器，可以获取集群中资源的外部服务
Deploy mode	driver的部署运行模式，分”cluster”和”client”两种模式。在”cluster”模式下，框架会在集群中的任意一台机器上启动driver；在”client”模式下，dirver会在集群外被提交者启动。
Worker node	集群中任何一个可以运行spark应用代码的节点。Worker Node就是物理节点，可以在上面启动Executor进程。
Executor	应用在worker节点上启动的进程，运行任务，并将数据保存在内存或者磁盘上。每个应用都有各自独立的executor。
Task	被发送到executor上的工作单元。
Job	包含很多个task的并行计算，可以认为是Spark RDD中的action，每个action的计算会生成一个job。
Stage	每个job会被拆分成多组task，每组task被称为stages（类似MR中的map stage 和 reduce stage）。