spark 原理-集群

• 应用程序(Application): 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor；
• 驱动(Driver): 运行Application的main()函数并且创建SparkContext;
• 执行单元(Executor): 是为某Application运行在Worker Node上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上，每个Application都有各自独立的Executors;
• 集群管理程序(Cluster Manager): 在集群上获取资源的外部服务(例如：Local、Standalone、Mesos或Yarn等集群管理系统)；

• 操作(Operation): 作用于RDD的各种操作分为Transformation和Action.

集群模式解析：

https://www.jianshu.com/p/65a3476757a5