大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day28】——Spark15

最新推荐文章于 2024-10-04 18:47:42 发布

2401_84182842

最新推荐文章于 2024-10-04 18:47:42 发布

阅读量721

点赞数 26

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84182842/article/details/138721394

版权

程序员专栏收录该内容

123 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

文章目录

- 前言

停🤚
不要往下滑了，
默默想5min，
看看这5道面试题你都会吗？

面试题01、介绍一下你对Unified Memory Management内存管理模型的理解？(了解)
面试题02、Spark的数据本地性有哪几种？
面试题03、数据倾斜是什么？
面试题04、如何定位数据倾斜？
面试题05、数据倾斜的几种典型情况？

在这里插入图片描述

以下答案仅供参考：

面试题 01、介绍一下你对Unified Memory Management内存管理模型的理解？(了解)

Spark中的内存使用分为两部分：执行（execution）与存储（storage）。

执行内存主要用于shuffles、joins、sorts和aggregations，存储内存则用于缓存或者跨节点的内部数据传输。1.6之前，

对于一个Executor，内存都由以下部分构成：

1）ExecutionMemory。这片内存区域是为了解决 shuffles,joins, sorts and aggregations 过程中为了避免频繁IO需要的buffer。通过spark.shuffle.memoryFraction(默认 0.2) 配置。

2）StorageMemory。这片内存区域是为了解决 block cache(就是你显示调用rdd.cache, rdd.persist等方法), 还有就是broadcasts,以及task results的存储。可以通过参数 spark.storage.memoryFraction(默认0.6)设置。

3）OtherMemory。给系统预留的，因为程序本身运行也是需要内存的(默认为0.2)。

传统内存管理的不足：

1）Shuffle占用内存0.2*0.8，内存分配这么少，可能会将数据spill到磁盘，频繁的磁盘IO是很大的负担，Storage内存占用0.6，主要是为了迭代处理。传统的Spark内存分配对操作人的要求非常高。（Shuffle分配内存：ShuffleMemoryManager, TaskMemoryManager, ExecutorMemoryManager）一个Task获得全部的Execution的Memory，其他Task过来就没有内存了，只能等待；

2）默认情况下，Task在线程中可能会占满整个内存，分片数据

面试题02、Spark的数据本地性有哪几种？

Spark中的数据本地性有三种：

1）PROCESS_LOCAL是指读取缓存在本地节点的数据

2）NODE_LOCAL是指读取本地节点硬盘数据

3）ANY是指读取非本地节点数据通常读取数据PROCESS_LOCAL>NODE_LOCAL>ANY，尽量使数据以PROCESS_LOCAL或NODE_LOCAL方式读取。其中PROCESS_LOCAL还和cache有关，如果RDD经常用的话将该RDD cache到内存中，注意，由于cache是lazy的，所以必须通过一个action的触发，才能真正的将该RDD cache到内存中。

面试题03、数据倾斜是什么？

数据倾斜指的是，并行处理的数据集中，某一部分（如Spark或Kafka的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。

数据倾斜两大直接致命后果。

1、数据倾斜直接会导致一种情况：Out Of Memory。

2、运行速度慢。主要是发生在Shuffle阶段。同样Key的数据条数太多了。导致了某个key(下图中的80亿条)所在的Task数据量太大了。远远超过其他Task所处理的数据量。
一个经验结论是：一般情况下，OOM的原因都是数据倾斜

面试题04、如何定位数据倾斜？

数据倾斜一般会发生在shuffle过程中。

很大程度上是你使用了可能会触发shuffle操作的算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。原因：查看任务->查看Stage->查看代码某个task执行特别慢的情况某个task莫名其妙内存溢出的情况查看导致数据倾斜的key的数据分布情况

也可从以下几种情况考虑：

1、是不是有OOM情况出现，一般是少数内存溢出的问题

2、是不是应用运行时间差异很大，总体时间很长

3、需要了解你所处理的数据Key的分布情况，如果有些Key有大量的条数，那么就要小心数据倾斜的问题

4、一般需要通过Spark Web UI和其他一些监控方式出现的异常来综合判断

5、看看代码里面是否有一些导致Shuffle的算子出现