Spark内存使用管理详解

主要分为两类：On-heap Memory和Off-heap Memory

1、堆内内存(On-heap Memory)
Spark Executor默认只使用堆内内存！主要分为：
Execution Memory：主要用于shuffles、joins、sorts及aggregations等计算操作，被称为Shuffle Memory。
Storage Memory：主要用于cache数据、unroll数据在集群内部传输数据，被称为Cache Memory。
User Memory：用户内存，主要用于存储内部元数据、用户自定义的数据结构等，根据用户实际定义进行使用。
Reserved Memory：默认300M的系统预留内存，主要用于程序运行。

内存计算：
Executor占用内存：通过spark.executor.memory或–executor-memory来配置。
Spark Memory（Execution Memory+Storage Memory）：Executor内存 * spark.memory.fraction。
其中 spark.memory.fraction在Spark1.6版本中默认0.75；Spark 2.x版本中默认0.6。
Execution Memory与Storage Memory采用动态内存分配，spark.memory.storageFraction默认0.5，但不是固定不变的，彼此之间可以相互共享。

2、堆外内存(Off-heap Memory)
堆外内存默认是关闭状态！开启须设置参数spark.memory.offHeap.enabled为true，并通过参数spark.memory.offHeap.size设置堆外内存大小，单位为字节。
堆外内存只包含Execution Memory和Storage Memory两块区域，maxOffHeapMemory大小就是spark.memory.offHeap.size的值，spark.memory.storageFraction默认值不变。