198.Spark（五）：spark指令运行过程，通信机制，任务提交流程，任务调度机制，shuffle解析，内存管理（面试必看）

目录

一、spark指令运行过程

1.yarn集群环境执行spark指令过程

2.Driver

3.Executor

4.Spark 通用运行流程概述

5.Spark 部署模式

6.Hadoop YARN的cluster模式运行机制

7.Hadoop YARN的client模式运行机制

8.Standalone的cluster模式运行机制

9.Standalone的client模式运行机制

二、spark通信

1.BIO，NIO，AIO的区别

2.spark通信概述

（1）通信组件

（2）Spark 通信终端

3.spark通信架构

 三、任务提交流程

1.sparkContext的组成部分

2.RDD的依赖

3.阶段的划分

4.任务的切分

5.任务的调度

 6.任务的执行

四、任务调度机制

 1.driver的工作流程

2.任务调度概述（重要）

3.Stage 级调度

4.Task 级调度

（1）TaskScheduler和TaskSetManager

（2）本地化调度

（3）失败重试与黑名单机制

五、Spark Shuffle 解析

1.ShuffleMapStage 与 ResultStage

2.HashShuffle 解析

（1）未优化的 HashShuffle

（2）优化后的 HashShuffle

3.SortShuffle 解析

（1）普通 SortShuffle

（2）bypass SortShuffle

六、Spark 内存管理

1.堆内和堆外内存规划

2.统一内存管理

---

一、spark指令运行过程

1.yarn集群环境执行spark指令过程

（1）

执行SparkSubmit启动命令，并由yarnClient执行submitApplication启动yarn Client

执行SparkSubmit，其中这个类有两个对象：SparkSubmitArguments，YarnClusterApplication

• SparkSubmitArguments：用于记录启动命令的后续参数。
• YarnClusterApplication：我们在参数中指令了yarn，并且启动模式使用集群。表示我们使用该对象启动

YarnClusterApplication对象内有一个Client，同时Client内还有一个yarnClient。

yarnClient执行