问题的提出
本篇文章将回答如下问题：
1. spark任务在执行的时候，其内存是如何管理的？
2. 堆内内存的寻址是如何设计的？是如何避免由于JVM的GC的存在引起的内存地址变化的？其内部的内存缓存池回收机制是如何设计的？
3. 堆外和堆内内存分别是通过什么来分配的？其数据的偏移量是如何计算的？
4. 消费者MemoryConsumer是什么？
5. 数据在内存页中是如何寻址的？
单个任务的内存管理是由 org.apache.spark.memory.TaskMemoryManager 来管理的。
TaskMemoryManager
它主要是负责管理单个任务的内存。
首先内存分为堆外内存和堆内内存。
对于堆外内存，可以内存地址直接使用64位长整型地址寻址。
对于堆内内存，内存地址由一个base对象和一个offset对象组合起来表示。
类在设计的过程中遇到的问题：
对于其他结构内部的结构的地址的保存是存在问题的，比如在hashmap或者是 sorting buffer 中的记录的指针，尽管我们决定使用128位来寻址，我们不能只存base对象的地址，因为由于gc的存在，这个地址不能保证是稳定不变的。（由于分代回收机制的存在，内存中的对象会不断移动，每次移动，对象内存地址都会改变，但这对于不关注对象地址的开发者来说，是透明的）
最终的方案：
对于堆外内存，只保存其原始地址，因为堆外内存不受gc影响；对于堆内内存，我们使用64位的高13位来保存内存页数，低51位来保存这个页中的offset，使用page表来保存base对象，其在page表中的索引就是该内存的内存页数。页数最多有8192页，理论上允许索引 8192 * (2^31 -1)* 8 bytes，相当于140TB的数据。其中 2^31 -1 是整数的最大值，因为page表中记录索引的是一个long型数组，这个数组的最大长度是2^31 -1。实际上没有那么大。因为64位中除了用来设计页数和页内偏移量外还用于存放数据的分区信息。
MemoryLocation
其中这个base对象和offset对象被封装进了 MemoryLocation对象中，也就是说，这个类就是用来内存寻址的，如下：
其唯一实现类为 org.apache.spark.unsafe.memory.MemoryBlock。
MemoryBlock
它表示一段连续的内存块，包括一个起始位置和一个固定大小。起始位置有MemoryLocation来表示。
也就是说它有四个属性：
这段连续内存块的起始地址：从父类继承而来的base对象和offset。
固定大小 length以及对这个内存块的唯一标识 - 内存页码（page number）
主要方法如下，其中Platform是跟操作系统有关的一个类，不做过多说明。
MemoryAllocator
其主要负责内存的申请工作。这个接口的实现类是真正分配内存的。后面介绍的TaskMemoryManager只是负责管理内存，但是不负责具体的内存分配事宜。
其继承关系如下，有两个子类：
其定义的主要的常量和方法如下：
主要方法主要用来分配和释放内存块。下面主要来看一下它两个子类的实现。
HeapMemoryAllocator
全称：org.apache.spark.unsafe.memory.HeapMemoryAllocator
主要负责分配堆内内存，其主要分配long型数组，最大分配内存为16GB。
成员变量
bufferPoolBySize是一个HashMap，其内部的value里面存放的数据都是弱引用类型的数据，在JVM 发生GC时，数据可能会被回收。它里面存放的数据都是已经不用的废弃掉的内存块。
是否使用内存缓存池
申请的内存块的大小大于阀值才使用内存缓存池。
分配内存
思路：首先根据bytes大小计算处words的大小，然后字节对齐计算出对齐需要的字节，断言对齐后的字节大小大于等于之前未对齐的字节大小。为什么要对齐呢？因为长整型数组的内存大小是对齐的。
如果对齐后的字节大小满足使用缓存池的条件，则先从缓存池中弹出对应的pool，并且如果弹出的pool不为空，则逐一取出之前释放的数组，并将其封装进MmeoryBlock对象，并且使用标志位清空之前的历史数据返回之。
否则，则初始化指定的words长度的长整型数组，并将其封装进MmeoryBlock对象，并且使用标志位清空之前的历史数据返回之。总之缓存的是长整型数组，存放数据的也是长整型数组。
释放内存
首先把要释放的内存数据使用free标志位覆盖，pageNumber置为占位的page number。
然后取出其内部的长整型数组赋值给临时变量，并且把base对象置为null，offset置为0。
取出的长整型数组计算其对齐大小，内存页的大小不一定等于数组的长度 * 8，此时的size是内存页的大小，需要进行对齐操作。
对齐之后的内存页大小如果满足缓存池条件，则将其暂存缓存池，等待下次回收再用或者JVM的GC回收。
这个方法结束之后，这个长整型数组被LinkedList对象（即pool）引用，但这是一个若引用，所以说，现在这个数组是一个游离对象，当JVM回收时，会回收它。
对堆内内存的总结
对于堆内内存上的数据真实受JVM的GC影响，其真实数据的内存地址会发生改变，巧妙使用数组这种容器以及偏移量巧妙地将这个问题规避了，数据回收也可以使用缓存池机制来减少数组频繁初始化带来的开销。其内部使用虚引用来引用释放的数组，也不会导致无法回收导致内存泄漏。
UnsafeMemoryAllocator
全称：org.apache.spark.unsafe.memory.UnsafeMemoryAllocator
负责分配堆外内存。
分配内存
思路：底层使用unsafe这个类来分配堆外内存。这里的offset就是操作系统的内存地址，base对象为null。
释放内存
堆外内存的释放不能使用缓存池，因为堆外内存不受JVM的管理，将会导致遗留的不用的内存无法回收从而引发更严重的内存泄漏，更甚者堆外内存使用的是系统内存，严重的话还会导致出现系统级问题。
堆堆外内存的总结
简言之，对于堆外内存的分配和回收，都是通过java内置的Unsafe类来实现的，其统一规范中的base对象为null，其offset就是该内存页在操作系统中的真实地址。
下面剖析一下TaskMemoryManager的成员变量和核心方法。
进一步剖析TaskMemoryManager
成员变量
下面，先来看一下其成员变量，截图如下：
对主要的成员变量做如下解释：
OFFSET_BITS：是指的page number 占用的bit个数
MAXIMUM_PAGE_SIZE_BYTES：约17GB，每页最大可存内存大小
pageTable：主要用来存放内存页的
allocatedPages：主要用来追踪内存页是否为空的
memoryManager：主要负责Spark内存管理，具体细节可以参照 spark 源码分析之十五 -- Spark内存管理剖析 做进一步了解。
taskAttemptId：任务id
tungstenMemoryMode：tungsten内存模式，是堆外内存还是堆内内存
consumers：记录了任务内存的所有消费者
核心方法
所有方法如下：
下面，我们来逐一对其进行源码剖析。
1. 获取执行内存
思路：首先先去MemoryManager中去申请执行内存，如果内存不够，则获取所有的MemoryConsumer，调用其spill方法将内存数据溢出到磁盘，直到释放内存空间满足申请的内存空间则停止spill操作。
2. 释放执行内存
这其实不是真正意义上的内存释放，只是管账的把这笔内存占用划掉了，真正的内存释放还是需要调用MemoryConsumer的spill方法将内存数据溢出到磁盘来释放内存。
3. 获取内存页大小
4. 分配内存页
思路：首先获取执行内存。执行内存获取成功后，找到一个空的内存页。
如果内存页码大于指定的最大页码，则释放刚申请的内存，返回；否则使用MemoryAllocator分配内存页、初始化内存页码并将其放入page表的管理，最后返回page。关于MemoryAllocator分配内存的细节，请参照上文关于其堆内内存或堆外内存的内存分配的详细剖析。
5. 释放内存页
思路：首先调用EMmoryAllocator的free 方法来释放内存，并且调用 方法2 来划掉内存的占用情况。
6. 内存地址加密
思路：高13位保存的是page number，低51位保存的是地址的offset
7.内存地址解密
思路： 跟 方法6 的编码思路相反
8.根据内存地址获取内存的base对象，前提是必须是堆内内存页，否则没有base对象。
9.获取内存地址在内存页的偏移量offset
如果是堆内内存，则直接返回其解码之后的offset即可。
如果是堆外内存，分配内存时的offset + 页内的偏移量就是真正的偏移量，是针对操作系统的，也是绝对的偏移量。
10.清空所有内存页
思路：使用MemoryAllocator释放内存，并且请求管账的MemoryManager释放执行内存和task的所有内存。
11.获取单个任务的执行内存使用情况
思路：从MemoryManager处获取指定任务的执行内存使用情况。
下面看一下跟TaskMemoryManager交互的消费者对象 -- MemoryConsumer。
MemoryConsumer
类说明
全称：org.apache.spark.memory.MemoryConsumer
它是任务内存的消费者。
其类结构如下：
成员变量
taskMemoryManager：是负责任务内存管理。
used：表示使用的内存。
mode：表示内存的模式是堆内内存还是堆外内存。
pageSize：表示页大小。
主要方法
1. 内存数据溢出到磁盘，抽象方法，等待子类实现。
2. 申请释放内存部分，不再做详细的分析，都是依赖于 TaskMemoryManager 做的操作。
关于更多MemoryConsumer的以及其子类的相关内容，将在下一篇文章Shuffle的写操作中详细剖析。
总结
本篇文章主要剖析了Task在任务执行时内存的管理相关的内容，现在可能还看不出其重要性，后面在含有sort的shuffle过程中，会频繁的使用基于内存的sorter，此时的sorter包含大量的数据，是需要内存管理的。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
