图解spark-local模式运行原理

local部署模式

首先spark运行时有4个角色，如下：

Driver:应用驱动程序, 是spark集群的客户
Master：Spark的主控节点，是spark集群的老板
Worker：Spark的工作节点，是集群的各个节点主管
Executor：Spark的工作进程，由worker监管，负责具体任务的执行

简单local模式运行流程（无集群）

我们先看下启动任务前， driver和executor之间，简单发生了什么（注意local模式下，executor是在driverApp里面的）：

localBackend可以理解成1个客户端
localActore可以理解成1个消息处理器，在这里处理消息并调用对应对象的方法

可以看到启动前，需要先向集群中心申请资源，足够的时候才调用executor的launTask启动任务。

看下任务启动后，发生了什么：