【Spark】Spark 的堆内内存和堆外内存

 今天是 520，祝大家 520 快乐。目前还是在封闭中，只能继续在家学习工作。今天学习 Spark 内存管理。

欢迎关注公众号。

作为一个 JVM 进程，Executor 的内存管理建立在 JVM 的内存管理之上，Spark 对内存的管理主要分为堆内和堆外：

• JVM 的堆内（On-heap）空间进行了更为详细的分配，以充分利用内存；
• Spark 引入了堆外（Off-heap）内存，使之可以直接在工作节点的系统内存中开辟空间，进一步优化了内存的使用；
• 堆内内存受到 JVM 统一管理，堆外内存是直接向操作系统进行内存的申请和释放。

1.堆内内存

要点如下：

• 堆内内存的大小由 –executor-memory 或 spark.executor.memory 参数配置。
• Executor 内运行的并发任务共享 JVM 堆内内存：
  • 这些任务在缓存 RDD 数据和广播（Broadcast）数据时占用的内存被规划为存储（Storage）内存；
  • 这些任务在执行 Shuffle 时占用的内存被规划为执行（Execution）内存；
  • 剩余的部