spark经典面试题

一、什么是宽依赖，什么是窄依赖，哪些算子是宽依赖，哪些是窄依赖

1、宽依赖：一个分区对应多个分区，这就表明有shuffle过程，父分区数据经过shuffle过程的hash分区器划分子rdd。

例如:groupbykey   reducebykey   sortbykey等操作，shuffle可以理解为数据从原分区打乱重组到新分区

2、窄依赖：一个分区对应一个分区，这个过程没有shuffle过程

例如 map filter等

spark的stage就是按照shuffle来划分的

 

二、transformation和action算子有什么区别，举例说明

1、transformation 变换、转换算子，这种变化并不会触发提交作业，完成作业过程处理，transformation操作是延迟计算的。

也就是说从rdd到另一个rdd的转换并不会马上执行，需要遇到action操作才会触发计算

2、action行动算子，这类算子会真正的触发spark 提交job作业

 

三、哪些spark算子会shuffle

1、去重distanct

2、groupbykey  reducebykey

3、重分区 repartition coalesce

4、join算子【分情况讨论】

两个RDD的分区数相同，在join的时候设置的分区数也相同，则在join阶段不会产生shuffle
两个RDD的分区数不同，在join的时候设置的分区数不同，则在join阶段都会产生shuffle
两个RDD的分区数不同，在join的时候设置的分区数和其中一个相同，则在join阶段不同的会产生shuffle
也就是说，当两个rdd分区数和分区方式一样时做join就不会产生shuffle
 

四、rdd的特性

1、一个分区列表，rdd的数据都存在一个分区列表中

2、rdd的依赖关系

3、作用在每一个分区上的函数

4、rdd的key value结构，决定数据的来源和已经数据处理后的去向

5、数据本地性，移动计算

 

五、spark如何划分stage

1、action操作触发job

2、DAGScheduler根据rdd的宽窄依赖关系进行划分一个一个的stage，遇到宽依赖划分成一个stage，最后将整个job都划分成多个stage，而各个stage之间又存在依赖关系。

 

六、spark的内存溢出

1、driver的内存溢出

可以增加driver的内存参数，默认1G

在spark程序中，sparkcontext、DAGScheduler都是运行在driver端的，对应的rdd的stage切分也是在driver端进行，如果用户的代码有很多stage，这部分消耗的是driver的内存，这时候就需要调大driver的内存

2、map过程中产生大量的对象导致溢出

这个原因是在单个map中产生了大量的对象导致的，例如 rdd.map(x=>for(i<- 1 to 10000) yield i.toString )，这个操作在rdd中，每个对象都产生了10000个对象，肯定容易造成内存溢出的问题，针对这种问题，在不增大内存的情况下，可以减少task的大小，以便能达到每个task的executor能装下大量的对象，具体可以在产出大量对象之前进行repartition草，分区成更小的块传入map

3、数据不平衡导致的内存溢出

调用repartition重新分区

4、shuffle后内存溢出

shuffle内存溢出的情况可以说都是shuffle后，单个文件过大导致的，在spark中，join reducebykey这一类型的算子，都会有shuffle过程，在shuffle过程，需要传入一个partitioner

5、使用rdd的persist(StorageLevel.MEMEORY_ADN_DISK_SER)代替rdd.cache

rdd.cache和rdd.persist(StorageLevel.MEMEORY_ADN_DISK_SER)是等价的，在内存不足的情况下，rdd.cache的数据会丢失，再次使用的时候会重新计算，而rdd.persist会再内存不足的情况下保存在磁盘，避免重新计算，只是消耗点IO时间

 

七、spark的几种部署模式

1、本地模式

local:只启动一个executor

local[k]:启动k个executor

2、standalone模式

分布式部署集群，自带有完整的服务，资源管理和任务监控

3、spark on yarn模式

分布式部署集群，资源和任务管理交给yarn管理

1、cluster模式 driver运行在集群子节点，具有容错功能

2、client模式，driver运行在客户端，适合调试

4、spark on mesos

 

八、你所知道的调度器，说明工作原理

1、Fifo scheduler 默认的调度器，先进先出

2、Capacity scheduler 计算能力调度，选择占用内存小，优先级别高的

3、Fair scheduler 公平调度，所有jbo的占用相同资源