spark内存管理源码分析系列之内存管理概述

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文介绍了Spark的内存框架以及介绍了Spark的哪些模块使用到了内存管理功能，Driver端内存管理比较简单，所以后续的分析都专注于Executor端的内存管理。

内存整体框架

作为一个 JVM 进程，Executor 的内存管理建立在 JVM 的内存管理之上，Spark 对 JVM 的堆内[On-heap]空间进行了更为详细的分配，以充分利用内存。同时，Spark 引入了堆外[Off-heap]内存，使之可以直接在工作节点的系统内存中开辟空间，进一步优化了内存的使用，整体架构如下所示:

对于一个Executor中，内存的相关结构如下所示:

1. org.apache.spark.memory.MemoryManager是JVM级别的内存管理者，负责具体内存的分配和回收；
2. org.apache.spark.memory.TaskMemoryManager是任务级别的内存管理者，每个任务有一个TaskMemoryManager，它负责Spark任务内存的分