Spark基本术语

Point 1：集群运行sprk架构剖析——standalone模式

1.在spark应用程序提交的机器
2.shell 中spark-submit脚本提交程序
3.开启一个上driver进程
4.通过反射的方式创建和构造一个DriverActor进程
5.SparkContext创建一个对象sc
6.SparkContext初始化的时候，构造出一个DAGScheduler和一个TaskSheduler
7.TaskSheduler实际上是会负责通过它对应的一个后台的进程，去连接master,向master注册这个Application
8.Master接受到Application注册过来的请求之后，会用资源调度的算法，在spark集群的Worker节点上为这个Application启动多个Executor进程
9.Executor启动之后反向注册到TaskScheduler上面
10.所有的Executor都反向注册到TaskScheduler上之后,Driver结束SparkContext的初始化，继续执行我们编写的代码（如；textFile(hdfs://…)）
11.DAGScheduler开始构建DAG图，进行job的切分，各个job在根据宽依赖和窄依赖会分stage,stage(当碰到Action操作时，就会催生Job；每个Job中含有1个或多个Stage，Stage一般在获取外部数据和shuffle之前产生)里面是很多个task，一个task一个分区,一个stage也是taskset
12.此时TaskSheduler会把TaskSet里面每个Task提交到右边的Executor上去执行（分配算法），封装task为taskRunner
13.Executor进程会从线程池里面找空闲的线程，来执行TaskRunner，每个线程运行一个TaskRunner
14.并向SparkContext报告，直至Task完成,所有Task完成后，SparkContext向Master注销，释放资源。
15.总结：最后整个这个spark应用程序的执行就是stage作为分批次的作为TaskSet提交到Executor里面去执行，每个Task针对RDD的一个分区partition，执行我们的算子和函数，RDD可以有5亿或者10亿的数据，Task并行执行

Point 2：术语定义

Application：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码；

Driver：Spark中的Driver即运行上述Application的main()函数并且创建SparkContext，其中创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等；当Executor部分运行完毕后，Driver负责将SparkContext关闭。通常用SparkContext代表Drive；

Executor：Application运行在Worker 节点上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上，每个Application都有各自独立的一批Executor。在Spark on Yarn模式下，其进程名称为CoarseGrainedExecutorBackend，类似于Hadoop MapReduce中的YarnChild。一个CoarseGrainedExecutorBackend进程有且仅有一个executor对象，它负责将Task包装成taskRunner，并从线程池中抽取出一个空闲线程运行Task。每个CoarseGrainedExecutorBackend能并行运行Task的数量就取决于分配给它的CPU的个数了，cpu的核数；

Cluster Manager：指的是在集群上获取资源的外部服务，目前有：

Ø Standalone：Spark原生的资源管理，由Master负责资源的分配；
Ø Hadoop Yarn：由YARN中的ResourceManager负责资源的分配；

Worker：集群中任何可以运行Application代码的节点，类似于YARN中的NodeManager节点。在Standalone模式中指的就是通过Slave文件配置的Worker节点，在Spark on Yarn模式中指的就是NodeManager节点；

作业（Job）：包含多个Task组成的并行计算，往往由Spark Action催生JOb，一个JOB包含多个RDD及作用于相应RDD上的各种Operation；

阶段（Stage）：每个Job会被拆分很多组Task，每组任务被称为Stage，也可称TaskSet，一个作业分为多个阶段，（就像mapreduce中的map和reduce）；

任务（Task）： 被送到某个Executor上的工作任务的工作单元；

Point 3：Spark运行基本流程

1. 构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源；
2. 资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上；
3. SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task，Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。
4. Task在Executor上运行，运行完毕释放所有资源。

Point 4：Spark运行架构特点

每个Application获取专属的executor进程，该进程在Application期间一直驻留，并以多线程方式运行tasks。这种Application隔离机制有其优势的，无论是从调度角度看（每个Driver调度它自己的任务），还是从运行角度看（来自不同Application的Task运行在不同的JVM中）。当然，这也意味着Spark Application不能跨应用程序共享数据，除非将数据写入到外部存储系统。

Spark与资源管理器无关，只要能够获取executor进程，并能保持相互通信就可以了。

提交SparkContext的Client应该靠近Worker节点（运行Executor的节点)，最好是在同一个Rack里，因为Spark Application运行过程中SparkContext和Executor之间有大量的信息交换；如果想在远程集群中运行，最好使用RPC将SparkContext提交给集群，不要远离Worker运行SparkContext。

Task采用了数据本地性和推测执行的优化机制。

Point 5：DAGScheduler

DAGScheduler把一个Spark作业转换成Stage的DAG（Directed Acyclic Graph有向无环图），根据RDD和Stage之间的关系找出开销最小的调度方法，然后把Stage以TaskSet的形式提交给TaskScheduler，下图展示了DAGScheduler的作用：

DAGScheduler还处理由于Shuffle数据丢失导致的失败,这有可能需要重新提交运行之前的Stage（非Shuffle数据丢失导致的Task失败由TaskScheduler处理）。

Point 6：TaskScheduler

DAGScheduler决定了运行Task的理想位置，并把这些信息传递给下层的TaskScheduler。此外，DAGScheduler还处理由于Shuffle数据丢失导致的失败，这有可能需要重新提交运行之前的Stage（非Shuffle数据丢失导致的Task失败由TaskScheduler处理）。
TaskScheduler维护所有TaskSet，当Executor向Driver发送心跳时，TaskScheduler会根据其资源剩余情况分配相应的Task。另外TaskScheduler还维护着所有Task的运行状态，重试失败的Task。下图展示了TaskScheduler的作用：

在不同运行模式中任务调度器具体为：
l Spark on Standalone模式为TaskScheduler；
l YARN-Client模式为YarnClientClusterScheduler
l YARN-Cluster模式为YarnClusterScheduler