大数据面试系列之——Spark

最新推荐文章于 2025-05-08 13:22:48 发布

潜心_守道

最新推荐文章于 2025-05-08 13:22:48 发布

阅读量1.1k

点赞数 1

分类专栏： Spark 大数据面经文章标签：大数据 spark 面试

本文链接：https://blog.csdn.net/I_Demo/article/details/104315816

版权

本文详细探讨了Spark的各种面试问题，涵盖了Spark的部署模式、技术栈组件、工作机制、应用程序执行流程、核心组件的功能，以及Spark的优化、性能、容错等方面。文章深入剖析了Spark与MapReduce的异同，讲解了Shuffle过程及其优化，并介绍了Spark在处理大数据面试中的关键知识点，如数据倾斜、RDD机制、序列化和持久化策略等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。

1.Spark有几种部署模式，各个模式的特点

1.本地模式
- Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。方便调试，本地模式分三类
  - local：只启动一个executor
  - local[k]: 启动k个executor
  - local：启动跟cpu数目相同的 executor
2.standalone模式
- 分布式部署集群，自带完整的服务，资源管理和任务监控是Spark自己监控，这个模式也是其他模式的基础
3.Spark on yarn模式
- 分布式部署集群，资源和任务监控交给yarn管理
- 粗粒度资源分配方式，包含cluster和client运行模式
  - cluster 适合生产，driver运行在集群子节点，具有容错功能
  - client 适合调试，dirver运行在客户端
4.Spark On Mesos模式
- 粗粒度(coarse-grained)，优点：启动task的时候开销比较小，但是该模式运行的时候每个application会一直占有一定的资源，直到整个application结束后才会释放资源
- 细粒度(fine-grained)，细粒度模式在spark2.0后开始弃用，优点：支持资源抢占，缺点：spark中运行的每个task的运行都需要去申请资源，也就是说启动每个task都增加了额外的开销

2.Spark技术栈有那些组件，每个组件有什么功能，分别适用与什么场景

1.Spark core
- 是其他组件的基础，spark的内核
- 主要包括：有向循环图、RDD、Lingage、Cache、broadcast等
2.SparkStreaming
- 是一个对实时数据流进行高通量、容错处理的流式处理系统
- 将流式计算分解成一系列短小的批处理作业
3.Spark sql
- 能够统一处理关系表和RDD，使得开发人员可以轻松地使用SQL命令进行外部查询
4.MLBase
- 是Spark生态圈的一部分专注于机器学习，让机器学习的门槛更低
- MLBase分为四部分：MLlib、MLI、ML Optimizer和MLRuntime。
5.GraphX
- 是Spark中用于图和图并行计算

3.Spark有哪些组件

1.master：管理集群和节点，不参与计算。
2.worker：计算节点，进程本身不参与计算，和master汇报。
3.Driver：运行程序的main方法，创建spark context对象。
4.spark context：控制整个application的生命周期，包括dagsheduler和task scheduler等组件。
5.client：用户提交程序的入口。

4.spark工作机制

1.用户在client端提交作业后，会由Driver运行main方法并创建spark context上下文。
2.执行Rdd算子，形成dag图输入dagscheduler。
3.按照Rdd之间的依赖关系划分stage输入task scheduler
4.task scheduler会将stage划分为taskset分发到各个节点的executor中执行

5. Spark应用程序的执行过程

1.构建Spark Application的运行环境（启动SparkContext）
2.SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源；
3.资源管理器分配Executor资源，Executor运行情况将随着心跳发送到资源管理器上；
4.SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task Scheduler；
5.Executor向SparkContext申请Task，Task Scheduler将Task发放给Executor运行，SparkContext将应用程序代码发放给Executor；
6.Task在Executor上运行，运行完毕释放所有资源。

6.driver的功能是什么

一个spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext实例，是程序的入口
功能
- 向集群申请资源
- 负责作业的调度和解析
- 生成Stage并调度Task到Executor上（包括DAGScheduler，TaskScheduler）

7.Spark中Work的主要工作是什么？

1.管理当前节点内存，CPU的使用状况，接收master分配过来的资源指令，通过ExecutorRunner启动程序分配任务
2.worker就类似于包工头，管理分配新进程，做计算的服务，相当于process服务
3.worker不会运行代码，具体运行的是Executor是可以运行具体appliaction写的业务逻辑代码

8.task有几种类型？

resultTask类型，最后一个task
shuffleMapTask类型，除过最后一个task其他都是

9.什么是shuffle，以及为什么需要shuffle？

shuffle中文翻译为洗牌，需要shuffle的原因是：某种具有共同特征的数据汇聚到一个计算节点上进行计算

10.Spark master HA 主从切换过程不会影响集群已有的作业运行，为什么？

因为程序在运行之前，已经申请过资源了，driver和Executors通讯，不需要和master进行通讯的。

11.Spark并行度怎么设置比较合适

spark并行度，每个core承载2~4个partition（并行度）
并行度和数据规模无关，只和内存和cpu有关

12.Spark程序执行，有时候默认为什么会产生很多task，怎么修改默认task执行个数？

有很多小文件的时候，有多少个输入block就会有多少个task启动
spark中有partition的概念，每个partition都会对应一个task，task越多，在处理大规模数据的时候，就会越有效率

13.Spark中数据的位置是被谁管理的？

每个数据分片都对应具体物理位置，数据的位置是被blockManager管理

14.为什么要进行序列化

减少存储空间，高效存储和传输数据
缺点：使用时需要反序列化，非常消耗CPU

15.Spark如何处理不能被序列化的对象？

封装成object

16.Spark提交你的jar包时所用的命令是什么？

spark-submit

17.Mapreduce和Spark的相同和区别？（重点面试题）

两者都是用mr模型来进行并行计算
hadoop的一个作业：job
- job分为map task和reduce task，每个task都是在自己的进程中运行的
- 当task结束时，进程也会结束
spark用户提交的任务：application
- 一个application对应一个sparkcontext，app中存在多个job
- 每触发一次action操作就会产生一个job
- 这些job可以并行或串行执行
- 每个job中有多个stage，stage是shuffle过程中DAGSchaduler通过RDD之间的依赖关系划分job而来的
- 每个stage里面有多个task，组成taskset有TaskSchaduler分发到各个executor中执行
- executor的生命周期是和app一样的，即使没有job运行也是存在的，所以task可以快速启动读取内存进行计算。
hadoop的job只有map和reduce操作，表达能力比较欠缺
- 在mr过程中会重复的读写hdfs，造成大量的io操作，多个job需要自己管理关系。
spark的迭代计算都是在内存中进行的
- API中提供了大量的RDD操作如join，groupby等
- 通过DAG图可以实现良好的容错

18.简单说一下hadoop和spark的shuffle相同和差异？

high-level角度：
- 两者并没有大的差别都是将 mapper（Spark: ShuffleMapTask）的输出进行 partition，不同的 partition 送到不同的 reducer（Spark 里 reducer 可能是下一个 stage 里的 ShuffleMapTask，也可能是 ResultTask）
  Reducer 以内存作缓冲区，边 shuffle 边 aggregate 数据，等到数据 aggregate 好以后进行 reduce()。
low-level 角度：
- Hadoop MapReduce 是 sort-based，进入 combine() 和 reduce() 的 records 必须先 sort。
- 好处：combine/reduce() 可以处理大规模的数据
  - 因为其输入数据可以通过外排得到
  - mapper 对每段数据先做排序
  - reducer 的 shuffle 对排好序的每段数据做归并
- Spark 默认选择的是 hash-based，通常使用 HashMap 来对 shuffle 来的数据进行 aggregate，不提前排序
- 如果用户需要经过排序的数据：sortByKey()
实现角度：
- Hadoop MapReduce 将处理流程划分出明显的几个阶段：map(), spilt, merge, shuffle, sort, reduce()
- Spark 没有这样功能明确的阶段，只有不同的 stage 和一系列的 transformation()，spill, merge, aggregate 等操作需要蕴含在 transformation() 中

19. 简单说一下hadoop和spark的shuffle过程

hadoop：map端保存分片数据，通过网络收集到reduce端
spark：spark的shuffle是在DAGSchedular划分Stage的时候产生的，TaskSchedule要分发Stage到各个worker的executor，减少shuffle可以提高性能

20.partition和block的关联

hdfs中的block是分布式存储的最小单元，等分，可设置冗余，这样设计有一部分磁盘空间的浪费，但是整齐的block大小，便于快速找到、读取对应的内容
Spark中的partition是RDD的最小单元，RDD是由分布在各个节点上的partition组成的。
partition是指的spark在计算过程中，生成的数据在计算空间内最小单元
同一份数据（RDD）的partion大小不一，数量不定，是根据application里的算子和最初读入的数据分块数量决定
block位于存储空间；partion位于计算空间，block的大小是固定的、partion大小是不固定的，是从2个不同的角度去看数据。