大数据技术架构(组件)23——Spark：Spark Core-Overall Architecture&Run Schema

2.1、Spark Core

2.1.1、Overall Architecture&Run Schema

2.1.1.1、schema

具体流程：

从运行的角度来看，主要包括Master、Worke、Executor、Driver和ExecutorBackend.具体流程如下：

1、构建Spark程序运行环境，即初始化SparkContext后，向ClusterManager进行注册，并申请资源

2、ClusterManager接收到程序后，会分配一个ID，同时会分配具体的计算资源并在对应的Worker节点上启动Executor进程

3、Executor启动后会定期发送心跳给Driver

4、SparkContext构建DAG,然后把DAG划分多个stage,并把每个Stage中的TaskSet发送给TaskScheduler。

5、Executor向SparkContext申请Task,TashScheduler会把Task分发给Executor执行

6、Executor端执行Task，并把执行结果反馈给TaskScheduler,然后向上反馈给DAGSchedler。

7、当所有stage执行完后，SparkContext向ClusterManager注销释放资源。

该架构有以下几个特点：

1、每个应用程序都有自己独立的进程，且在多个线程中运行任务,减少了多进程频繁启动切换的开销。这样独立的好处在于每个程序在独立的JVM中调度各自的任务，从资源层面上的隔离结合执行调度层面的隔离保证每个应用相互独立，提高其稳定性。

2、Spark服务和集群管理器无关，只要能够获取到executor进程使其执行任务，并且进程间可以互相通信，那么底层采用什么样的管理器(如mesos/yarn)都是可以的。

3、驱动程序必须能够在其整个生命周期内监听并接受来自executor的通信。

4、优先数据本地化和推测执行计算。尽量减少数据网络传输。

5、Executor上的BlockManager提供了内存和磁盘的共同存储机制，所以在迭代计算产生中间结果的时候不需要存储到分布式系统中，这样后续可以直接读取中间结果，避免了网络IO或者磁盘IO。

2.1.1.2、Launching Spark On Yarn

1、Yarn On Cluster

1、当客户端提交Spark任务之后，其会跟RM进行通信，会在AM上启动Driver。此时应用后续的动作都不会局限于客户端，客户端的退出不会影响应用的执行。

2、 该模式下，Driver运行在AM中，负责向Yarn申请资源，并监控作业的运行状况

3、该种模式适用于线上操作

2、Yarn On Client

1、当客户端提交Spark任务之后，会其客户端启动Driver，然后申请资源启动task,此时客户端不能退出，否则应用就会被kill掉。

2、AM只负责向Yarn申请资源，告诉NodeManager为其启动Container,产生Executor。

3、该种模式适用于测试调试使用。

提交参数

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    examples/jars/spark-examples*.jar \
    --jars my-other-jar.jar,my-other-other-jar.jar \
    10