spark简述

当Spark Application运行在集群上时，主要有四个部分组成，如下示意图：

(1）Driver：是一个JVM Process 进程，编写的Spark应用程序就运行在Driver上，由Driver进
程执行；
(2）Master(ResourceManager)：是一个JVM Process 进程，主要负责资源的调度和分配，并
进行集群的监控等职责；
(3）Worker(NodeManager)：是一个JVM Process 进程，一个Worker运行在集群中的一台服
务器上，主要负责两个职责，一个是用自己的内存存储RDD的某个或某些partition；另一个是
启动其他进程和线程（Executor），对RDD上的partition进行并行的处理和计算。
(4）Executor：是一个JVM Process 进程，一个Worker(NodeManager)上可以运行多Executor，Executor通过启动多个线程（task）来执行对RDD的partition进行并行计算，也就是执行我们对RDD定义的例如map、flatMap、reduce等算子操作。

Spark Application中Job执行有两个主要点：

（1）RDD输出函数分类

        第一类：返回值给Driver Program，如count、first、take、collect等

        第二类：没有返回值，比如直接打印结果、保存至外部存储系统（HDFS文件）等

（2）在JOb中从读取数据封装为RDD和一切RDD调用方法都是在Executor中执行，其他代码都是在Driver Program中执行

        SparkContext创建与关闭、其他变量创建等在Driver Program中执行

        RDD调用函数都是在Executors中执行

Spark支持多种集群管理器（Cluster Manager）,取决于传递给SparkContext的MASTER环境变量的
值：local、spark、yarn，区别如下：