spark常用术语

Application:用户构建在Spark上的程序。由集群上的一个driver程序和多个executor组成。

Application jar:一个包含用户Spark应用的Jar。包含应用和应用的依赖。用户的Jar包应该不包含Hadoop或者Spark库，它们会在运行时添加。

Driver Program:该进程运行应用的main()方法并创建SparkContext对象。

Cluster Manager:一个外部用于获取集群上资源的服务

（Standalone Manage,Mesos,YARN）。

Deploy Mode:根据driver程序运行的位置进行区别：在Cluster模式中，框架在集群内部启动driver。在Client模式中，submitter在集群外部启动driver。

Worker Node:任何在集群中可以运行应用程序代码的节点。

Executor:为了执行worker节点上的应用而启动的进程，它运行task并将数据保存在内存或磁盘文件系统。每个应用都有它自己的Executor。

Task:将要被发送到Executor中的工作单元。

Job:有多个task组成的并行计算（懒加载）。

Stage:每个Job被拆分成更小的stage(阶段)的task组,stage是按宽依赖进行拆分的，stage彼此依赖。