spark执行图

1、当作业进入时，驱动程序将代码转换为逻辑有向无环图 (DAG)。然后，驱动程序执行某些优化，例如管道转换。

2、此外，它将 DAG 转换为具有阶段集的物理执行计划。同时，它在每个阶段下创建称为任务的小型执行单元。然后它收集所有任务并将其发送到集群。

它是与集群管理器对话并协商资源的驱动程序。此集群管理器代表驱动程序启动执行程序后。此时，基于数据，放置驱动程序将任务发送到集群管理器。

3、在执行器开始执行之前，执行器将自己注册到驱动程序中。使驱动程序拥有所有执行者的整体视图。

4、现在，Executors 执行 driver 分配的所有任务。同时，应用程序运行时，驱动程序监视运行的执行器。在spark架构中驱动程序调度未来的任务。

5、所有任务都根据数据放置来跟踪缓存数据的位置。当它调用sparkcontext的stop方法时，它会终止所有的执行器。之后，它从集群管理器中释放资源。