Spark面试题

Spark面试题（约9.8w字）
Spark的任务执行流程

Spark的运行流程

Spark的作业运行流程是怎么样的?

Spark的特点

Spark源码中的任务调度

Spark作业调度

Spark的架构

Spark的使用场景

Spark on standalone模型、YARN架构模型(画架构图)

Spark的yarn-cluster涉及的参数有哪些?

Spark提交job的流程

Spark的阶段划分

Spark处理数据的具体流程说下

Sparkjoin的分类

Spark map join的实现原理

介绍下Spark Shuffle及其优缺点

什么情况下会产生Spark Shuffle?

为什么要Spark Shuffle?

Spark为什么快?

Spark为什么适合迭代处理?

Spark数据倾斜问题，如何定位，解决方案

Spark的stage如何划分?在源码中是怎么判断属于Shuffle Map Stage或Result Stage的?

Spark join在什么情况下会变成窄依赖?

Spark的内存模型?

Spark分哪几个部分(模块)?分别有什么作用(做什么，自己用过哪些，做过什么)?

RDD的宽依赖和窄依赖，举例一些算子

Spark SQL的GroupBy会造成窄依赖吗?

GroupBy是行动算子吗

Spark的宽依赖和窄依赖，为什么要这么划分?

说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action?常用的列举一些，说下算子原理

Spark的哪些算子会有shuffle过程?