Spark06——Spark架构及角色介绍

Spark架构图如下：

Spark架构同样使用了分布式计算中master-slave模型。
master是集群中含有master进程的节点，slave是集群中含有worker进程的节点。
master用于管理worker,接收提交的任务，进行任务的分配调度。
worker用于管理自己节点上的executor，需要定时向master报活。

角色介绍

Spark应用程序以一组独立的进程运行在集群上，并通过Driver中的SparkContext对象组织在一起。SparkContext对象会连接各种集群管理器（资源调度器，例如spark自带的manager、yarn、mesos），这些管理器会为应用分配资源。

Driver Program

运⾏main函数并且创建SparkContext的程序。

Application

基于Spark的应用程序，包含了driver程序和集群上的executor。

Cluster Manager

指的是在集群上获取资源的外部服务。主要有以下三种类型
1、Standalone: spark原生的资源管理，由Master负责资源的分配
2、Apache Mesos:与hadoop MapReduce兼容性良好的一种资源调度框架
3、Hadoop Yarn: 主要是指Yarn中的ResourceManager

Worker Node

集群中任何可以运行Application代码的节点，在Standalone模式中指的是通过slaves文件配置的Worker节点，在Spark on Yarn模式下就是NodeManager节点。

Executor

是在一个worker node上为某应用启动的⼀个进程，该进程负责运行任务，并且负责将数据存在内存或者磁盘上。每个应用都有各自独立的executor。

Task

被送到某个executor上的工作单元。