Spark源码[1]-内存管理模型

Spark源码[1]-内存管理模型

目录

1.1 堆内内存

1.2 Executor内部内存结构

1.3 堆外内存

1.4 内存动态调整机制

       2 Spark1.6之前的静态内存模型

       3 补充

---

1 动态内存模型

Spark1.6版本之后，默认使用动态内存。

1.1 堆内内存

在Yarn调度器模式中，内存的基本结构如下，会再NodeManager上申请一个container，也就是一个JVM作为一个Executor，而Executor包含了两部分内存。

一是有spark.yarn.executor.memoryOverHead(注意在2.3版本及之后，使用spark.executor.memoryOverHead)指定的Off-heap内存，如果不指定，则设置其为min(executorMemory*0.1,348MB)作为其大小，一般生产环境我们不会把executor设置小雨3.5G，所以，其实默认就是348MB。该部分内存主要用于创建Java Object时的额外开销，Native方法调用，NIO Buffer等开销，该部分是用户代码及spark不可以操作的内存。
需要注意的是，Yarn一定会设置一个container的上限内存，由yarn.scheduler.maximum-allocation-mb来指定，overHead内存和executorMemory的和不能超过container上限，不然会被杀掉。

1.2 Executor内部内存结构

默认情况下，Spark只使用了堆内存，有如下4部分：

• Execution（执行）内存：用于存放Shuffle、Join、Sort、Aggregation等计算过程中的临时数据，主要就是Writer阶段的未溢写数据临时占用的内存，以及Reader阶段拉取到的Shuffle数据
• Storage（存储）内存：主要用于存放RDD的缓存和广播数据，UnrollBlock数据也会从这里获取
• 用户内存（User Memory）:其实就是Task的执行内存，用于存储RDD转换所需要的数据，例如RDD依赖等信息，用来存储Spark内部对象
• 预留内存（Reserved Memory）：系统预留内存，防止内存溢出，默认写死为300M，一般无需改动，不用关心此部分内存。 但如果Executor分配的内存小于 1.5 * 300 = 450M时，Executor将无法执行。

Executor申请到的堆内存总和就是上述四种，通过spark.executor.memory或者–executor-memory配置，需要注意的是，JVM堆内存无论什么时候，都会分为年轻代(1/3)和老年代(2/3)，而年轻代又分为Eden和S1、S2，比例为8：1：1，而同一时间只能有一个Serviver被使用，所以，有1/30内存不能被算进去。
Execution内存和Storage内存一共默认占总Executor的0.6，该值通过spark.memory.fraction配置。且在SparkUI的Executor标签页上显示的StorageMemory其实是Execution和Storage的总和。
Storage比例通过spark.memory.StorageFraction 进行设置，默认0.5。

1.3 堆外内存

在Spark1.6之后，Spark引入了堆外内存，分为Execution和Storage内存，分配多大就占用多大，不受其他因素影响，与堆内内存一样，它们也可以互相占用

1. #开启堆外内存并设置大小为10GB
2. spark.memory.offHeap.enabled true
3. spark.memory.offHeap.size 10737418240

1.4 内存动态调整机制

Spark1.6之后的动态调整如下：

• Execution内存和Storage内存任一方没有占满（比例由spark.memory.storageFraction设置），那么使用内存多且超过自身限制的的可以借用其内存
• Execution内存被Storage借用，如果Execution要使用这部分，会强制Storage数据溢写磁盘，从而归还内存
• Storage内存被Execution借用，如果Storage要使用这部分，不能强制Execution归还，因为Shuffle过程复杂，且数据一定会被用到

2 Spark1.6之前的静态内存模型

主要特性是内存之间不能互相借用，存储和执行内存分别占Executor的0.6和0.2。并且每一部分都有一个安全比例阀值，放置内存溢出。存储内存通过spark.storage.safetyFraction设置，默认0.9；执行内存通过spark.shuffle.safetyFraction，默认0.8；Unroll内存在存储内存的安全空间中，通过spark.storage.unrollFraction设置，默认0.2。
展开内存（Unroll）表示将RDD中的数据分区由不连续的存储空间组织为连续的存储空间。
另外，固定内存模式没有300MB的固定用户内存空间

3 补充

在代码中查看对象占用大小：

1. import org.apache.spark.util.SizeEstimator
2. val size:Long=SizeEstimator.estimate(map)

如果希望查看RDD大小：将RDDcache，然后看Web页面的Storage子页面。