【Spark】 Spark核心概念、名词解释（五）

Spark核心概念

名词解释
1)ClusterManager：在Standalone(上述安装的模式，也就是依托于spark集群本身)模式中即为Master（主节点），控制整个集群，监控Worker。在YARN模式中为资源管理器ResourceManager(国内spark主要基于yarn集群运行，欧美主要基于mesos来运行)。
2)Application：Spark的应用程序，包含一个Driver program和若干Executor。
3)SparkConf：负责存储配置信息。作用相当于hadoop中的Configuration。
4)SparkContext：Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node上的Executor。
5)Worker：从节点，负责控制计算节点，启动Executor。在YARN模式中为NodeManager，负责计算节点的控制，启动的进程叫Container。
6)Driver：运行Application的main()函数并创建SparkContext(是spark中最重要的一个概念，是spark编程的入口，作用相当于mr中的Job)。
7)Executor：执行器，在worker node上执行任务的组件、用于启动线程池运行任务。每个Application拥有独立的一组Executors。
8)RDD：Spark的基本计算单元，一组RDD可形成执行的有向无环图RDD Graph。
9)RDD是弹性式分布式数据集，理解从3个方面去说：弹性、数据集、分布式。是Spark的第一代的编程模型。
10)DAGScheduler：实现将Spark作业分解成一到多个Stage，每个Stage根据RDD的Partition个数决定Task的个数，然后生成相应的Taskset放到TaskScheduler中。DAGScheduler就是Spark的大脑，中枢神经。
11)TaskScheduler：将任务（Task）分发给Executor执行。
12)Stage：一个Spark作业一般包含一到多个Stage。
13)Task：一个Stage包含一到多个Task，通过多个Task实现并行运行的功能。task的个数由rdd的partition分区决定，spark是一个分布式计算程序，所以一个大的计算任务，就会被拆分成多个小的部分，同时进行计算。一个partition对应一个task任务。
14)Transformations：转换(Transformations) (如：map, filter, groupBy, join等)，Transformations操作是Lazy的，也就是说从一个RDD转换生成另一个RDD的操作不是马上执行，Spark在遇到Transformations操作时只会记录需要这样的操作，并不会去执行，需要等到有Actions操作的时候才会真正启动计算过程进行计算。
15)Actions：操作/行动(Actions)算子 (如：count, collect, foreach等)，Actions操作会返回结果或把RDD数据写到存储系统中。Actions是触发Spark启动计算的动因。
Spark官网组件说明
官网组件说明如图-1所示：

图-1 Spark组件通信架构图

Spark应用程序作为集群上的独立进程集运行，由主程序（称为驱动程序）中的SparkContext对象协调。
具体来说，要在集群上运行，SparkContext可以连接到几种类型的集群管理器（Spark自己的独立集群管理器、Mesos或YARN），这些管理器可以跨应用程序分配资源。一旦连接，Spark将获取集群中节点上的执行器，这些执行器是为应用程序运行计算和存储数据的进程。接下来，它将应用程序代码（由传递给SparkContext的JAR或Python文件定义）发送给执行器。最后，SparkContext将任务发送给执行器以运行。