主要分为两类:On-heap Memory和Off-heap Memory
1、堆内内存(On-heap Memory)
Spark Executor默认只使用堆内内存!主要分为:
Execution Memory:主要用于shuffles、joins、sorts及aggregations等计算操作,被称为Shuffle Memory。
Storage Memory:主要用于cache数据、unroll数据在集群内部传输数据,被称为Cache Memory。
User Memory:用户内存,主要用于存储内部元数据、用户自定义的数据结构等,根据用户实际定义进行使用。
Reserved Memory:默认300M的系统预留内存,主要用于程序运行。
内存计算:
Executor占用内存:通过spark.executor.memory或–executor-memory来配置。
Spark Memory(Execution Memory+Storage Memory):Executor内存 * spark.memory.fraction。
其中 spark.memory.fraction在Spark1.6版本中默认0.75;Spark 2.x版本中默认0.6。
Execution Memory与Storage Memory采用动态内存分配,spark.memory.storageFraction默认0.5,但不是固定不变的,彼此之间可以相互共享。
2、堆外内存(Off-heap Memory)
堆外内存默认是关闭状态!开启须设置参数spark.memory.offHeap.enabled为true,并通过参数spark.memory.offHeap.size设置堆外内存大小,单位为字节。
堆外内存只包含Execution Memory和Storage Memory两块区域,maxOffHeapMemory大小就是spark.memory.offHeap.size的值,spark.memory.storageFraction默认值不变。