spark堆内和堆外内存

由于Driver的内存管理较为简单，内存管理主要对Executor的内存管理进行探讨。

一、堆内(On-Heap Memory)和堆外(Off-Heap Memory)内存规划

​ Executor作为一个JVM进程，Executor的内存管理建立在JVM的内存管理之上。Spark对堆内内存进行JVM内存管理，引入了堆外内存，使之可以直接在工作节点的系统内存中开辟空间，进一步优化了内存的使用；其中，堆外内存直接向操作系统申请。

二、堆内内存(On-Heap Memory)

​ 堆内内存概述：

​ 在Spark程序启动时，堆内内存的大小由spark-submit中的–executor-memory 或 spark.executor.memory参数配置。Spark对于堆内内存的管理是一种逻辑上的“规划式”管理，因为对象实例占用内存的申请和释放都由JVM完成，Spark只能在申请后和释放前记录这些内存。
对于Spark的序列化对象，由于是字节流的形式，其占用的内存大小可以直接计算，而对于非序列化对象，其占用的内存是通过周期性的采样估算而得，即并不是新增数据项都会计算一次占用内存的大小，这种方法降低了时间开销，但是有可能误差较大，导致某一时刻的实际内存远远超出预期。所以Spark并不能准确记录实际可用的堆内内存，从而也无法避免内存溢出—OOM。

1.内存空间的动态分配

​ 在Spark1.6之前使用静态内存管理，即存储内存、执行内存和其他内存的大小在Spark应用程序运行期间是固定的。缺点很多，因此在Spark1.6以后，堆内内存和堆外内存的管理采用动态分配的形式，即：存储内存(Storage)和执行内存(Execution)共享同一块存储空间，双方可以动态的占用对方的空闲区域。

​动态占用机制的规则如下：

1.首先设定基本的Storage和Execution的区域(spark.storage.storageFraction参数)，该设定确定了双方各自拥有的空间范围；

2.双方的空间都不足时，则都存储到磁盘上面；

3.若己方空间不足，而对方空间空余时，可借用对方的空间(存储空间不足指不足以放下一个完整的Block)。