Spark基础之：集群角色以及任务提交流程

本篇主要介绍两块内容：
一、Spark集群主要角色以及每个角色的主要功能，包含Spark自身角色以及Spark运行在Yarn（Spark on Yarn）上的角色。
二、Spark运行时任务提交的流程。

一、Spark主要角色介绍

Spark Application在集群上运行时，主要由四个部分组成，分别是：Master、Worker、Driver、Executor

1、Spark主要角色

Master

集群的大管家，负责集群的资源管理和分配

Worker

单个机器的管家，负责在单个服务器上提供运行容器，管理当前服务器资源

Driver

单个Spark任务的管理者，管理Executor上的任务执行和任务的分配。类似Yarn的ApplicationMaster。

Executor

具体干活的进程，Spark的工作任务（Task）都由Executor来负责执行。

2、yarn主要角色

yarn的主要角色有四个，从资源管理层面和任务计算层面两个层面去看

资源管理层面

• 集群的资源管理者