Spark内存模型的理解

在执行 Spark 的应用程序时，Spark 集群会启动 Driver(就是单个，好配置) 和 Executor 两种 JVM 进程，本文重点分析Executor的内存分配。

分清Jvm内存模型 和 Jvm运行时内存区域划分！！！

1.堆内和堆外内存规划

先看图理解一下堆内与堆外的内存：

堆内是线程共享的，堆外是进程共享的。

堆内内存(JVM中的堆内存)(Driver + Executor)

        Spark 对堆内内存的管理是一种逻辑上的规划式的管理，因为对象实例占用内存的申请和释放还是都由JVM 完成，Spark 只能在申请后和释放前记录这些内存，虽然不能精准控制堆内内存的申请和释放，但Spark通过对存储内存和执行内存各自独立的规划管理，可以决定是否要在存储内存里缓存新的RDD，以及是否为新的任务分配执行内存，在一定程度上可以提升内存的利用率，减少异常的出现。

堆外内存(Executor运行的时候所在节点的操作系统的一部分内存)

        Spark 1.6 开始引入了 Off-heap memory。

        为了进一步优化内存的使用以及提高 Shuffle 时排序的效率，Spark 引入了堆外（Off-Heap）内存，使之可以直接在工作节点的系统内存中开辟空间，存储经过序列化的二进制数据。利用 JDK UnsafeAPI（从 Spark 2.0 开始，在管理堆外的存储内存时不再基于 Tachyon，而是与堆外的执行内存一样，基于 JDK Unsafe API 实现），Spark可以直接操作系统堆外内存，减少了不必要的内存开销，以及频繁的 GC 扫描和回收，提升了处理性能。堆外内存可以被精确地申请和释放，而且序列化的数据占用的空间可以被精确计算，所以相比堆内内存来说降低了管理的难度，也降低了误差。由于这种方式不经过JVM 内存管理，所以可以避免频繁的 GC，这种内存申请的缺点是必须自己编写内存申请和释放的逻辑。

大致总结：

• Executor运行的时候所在的节点的操作系统的一部分内存
• 可以避免频繁的 GC，这种内存申请的缺点是必须自己编写内存申请和释放的逻 辑。
• 默认不启用。通过参数控制spark.memory.offHeap.enabled / spark.memory.offHeap.size
• 堆内是线程共享的，堆外是进程共享的

2.内存空间分配

两套不同的针对 执行内存和存储内存的不同划分方案:

堆内内存： 系统预留 执行内存 存储内存

堆外内存： 执行内存 存储内存

• 静态内存管理(StaticMemoryManager)(逻辑上)

  静态内存管理机制实现起来较为简单，但如果用户不熟悉Spark的存储机制，或没有根据具体的数据规模和计算任务或做相应的配置，很容易造成"一半海水，一半火焰"的局面，即存储内存和执行内存中的一方剩余大量的空间，而另一方却早早被占满，不得不淘汰或移出旧的内容以存储新的内容。由于新的内存管理机制的出现，这种方式目前已经很少有开发者使用，出于兼容旧版本的应用程序的目的，Spark仍然保留了它的实现。

        堆内内存图如下：

       

         堆外内存图如下：

        

• 统一内存管理(UnifiedMemoryManager)(物理上)(Spark-1.6引入)

  Spark-1.6 之后引入的统一内存管理机制，与静态内存管理的区别在于存储内存和执行内存共享同一块空间，可以动态占用对方的空闲区域。默认情况下，Spark 仅仅使用了堆内内存。Executor 端的堆内内存区域大致可以分为以下四大块：

  1、Execution 内存：主要用于存放 Shuffle、Join、Sort、Aggregation 等计算过程中的临时数据
  2、Storage 内存：主要用于存储 spark 的 cache 数据，例如RDD的缓存、unroll数据；
  3、用户内存（User Memory）：主要用于存储 RDD 转换操作所需要的数据，例如 RDD 依赖等信息。
  4、预留内存（System Reserved Memory）：系统预留内存，会用来存储Spark内部对象。
  

  其中最重要的优化在于动态占用机制，其规则如下： 

  1、设定基本的存储内存和执行内存区域（spark.memory.storageFraction参数），该设定确定了双方
  各自拥有的空间的范围
  2、双方的空间都不足时，则存储到硬盘；若己方空间不足而对方空余时，可借用对方的空间;（存储空间不足
  是指不足以放下一个完整的Block）
  3、执行内存的空间被对方占用后，可让对方将占用的部分转存到硬盘，然后"归还"借用的空间
  4、存储内存的空间被对方占用后，无法让对方"归还"，因为需要考虑Shuffle过程中的很多因素，实现起来
  较为复杂
  

  动态占用机制如下：

  凭借统一内存管理机制，Spark在一定程度上提高了堆内和堆外内存资源的利用率，降低了开发者维护Spark内存的难度，但并不意味着开发者可以高枕无忧。譬如，所以如果存储内存的空间太大或者说缓存的数据过多，反而会导致频繁的全量垃圾回收，降低任务执行时的性能，因为缓存的RDD数据通常都是长期驻留内存的。所以要想充分发挥Spark的性能，需要开发者进一步了解存储内存和执行内存各自的管理方式和实现原理。