第三节、Spark应用运行流程和运行模式
一、Spark应用运行流程
1.程序的执行流程:
当执行一个应用时,Driver会向集群管理器申请资源,启动Executor,并向Executor发送应用 程序代码和文件,然后在Executor上执行任务,运行结束后,执行结果会返回给Driver,或者写到HDFS或者其他数据库中。
2.下面是Spark应用程序详细流程:
①当一个Spark应用程序被提交时,首先要为这个应用程序的执行构建基本的运行环境(资源)。任务控制器(Driver)会创建一个SparkContext对象,由SparkContext和Cluster Manager进行通信、资源申请(申请运行Executor的资源)、任务分配和监控等。SparkContext可以被看作应用程序连接集群的通道。
②Cluster Manager为Executor分配资源,并启动Executor进程,Executor上资源的使用情况将通过心跳的方式反馈到Cluster Manager上。
③SparkContext会根据RDD的依赖关系构建DAG,DAG会被提交到DAG调度器(DAG Scheduler)进行解析,将DAG分解为多个阶段(每个阶段都是一个任务集),并且计算出各个阶段之间的依赖关系,接着把一个个任务集交给任务调度器(Task Scheduler)。
④Executor进程启动后会向SparkContext申请任务,接着任务调度器(Task Scheduler)会将任务发送给Executor执行,同时SparkContext还会把代码发送给Executor。
⑤任务执行的结果会反馈给任务调度器,然后返回给DAG调度器,运行完成后将执行结果会返回给Driver,或者写到HDFS并释放掉资源。
3.Spark运行流程的主要特点
(1)每个应用都有专属的Executor进程,并且该进程在应用执行期间一直存在。Executor进程以多线程的方式运行任务,减少了多线程任务频繁的启动开销,使得任务更加高效可靠。这也意味着Spark Application不能跨应用程序共享数据,除非将数据写入到外部存储系统。
(2)Spark与资源管理器无关,只要能够获取executor进程,并能保持相互通信就可以了。
(3)Executor上有一个BlockManager存储模块,类似于键值存储系统(将内存和磁盘工作作为存储设备),在处理迭代计算的任务时,不需要把中间结果写入HDFS等文件系统中,而是直接存放在这个存储系统里面,后续有需要直接读取,由于在内存中,读取速度非常快,提高了性能。
(4)Task采用了数据本地性和推测执行的优化机制。
二、Spark运行模式(部署方式)
1.Local模式
这种模式下程序在单机执行,常用于测试
后面三种属于集群部署模式
2.Standalone模式
Spark框架自身也有完整的资源调度管理服务,可以独立部署在一个进群里,当采用此种运行模式时,在架构设计上和MapReduce一样,都是一个Master和多个Slave构成,将槽(slot)作为资源分配单位。
3.Spark on Yarn/Mesos模式
程序运行在资源管理器上:Yarn/Mesos上
此种模式存在两种方式:
(1)yarn-client模式:Spark Driver在Client端
yarn-client适合测试环境,因为driver在client端,我们可以在UI清楚的看到程序的执行情况
(2)yarn-cluster模式:Spark Driver(应用程序的“主管”)在Yarn Container
yarn-cluster适合生产环境
参考:《Spark编程基础(Scala版)》
对Spark架构了解后,下一节将会详细地介绍RDD在Spark中起到什么样的作用。