分布式计算框架Spark集群实战

一、Spark整体架构

1、Spark集群架构

从集群部署的角度看，Spark集群由集群管理器（Cluster Manager）、工作节点（Worker）、执行器（Executor）、驱动器（Driver）、应用程序（Application）等部分组成，其整体关系如下图所示：

1. Cluster Manager

Spark的集群管理器，主要负责对整个集群资源的分配与管理。Cluster Manager在YARN部署模式下为ResourceManager；在Mesos部署模式下为Mesos Master；在Standalone部署模式下为Master。Cluster Manager分配的资源属于一级分配，它将各个Worker上的内存、CPU等资源分配给Application，但是并不负责对Executor的资源分配。Standalone部署模式下的Master会直接给Application分配内存、CPU及Executor等资源。目前，Standalone、YARN、Mesos、EC2等都可以作为Spark的集群管理器。

2. Worker

Spark的工作节点。在YARN部署模式下实际由NodeManager替代。Worker节点主要负责以下工作：

1. 将自己的内存、CPU等资源通过注册机制告知Cluster Manager
2. 创建Executor；将资源和任务进一步分配给Executor；