Python 中的内存管理

🚀 优质资源分享 🚀

学习路线指引（点击解锁）	知识定位	人群定位
🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

Python 中一切皆对象，这些对象的内存都是在运行时动态地在堆中进行分配的，就连 Python 虚拟机使用的栈也是在堆上模拟的。既然一切皆对象，那么在 Python 程序运行过程中对象的创建和释放就很频繁了，而每次都用 malloc() 和 free() 去向操作系统申请内存或释放内存就会对性能造成影响，毕竟这些函数最终都要发生系统调用引起上下文的切换。下面我们就来看看 Python 中的内存管理器是如何高效管理内存的。

其实核心就是池化技术，一次性向操作系统申请一批连续的内存空间，每次需要创建对象的时候就在这批空间内找到空闲的内存块进行分配，对象释放的时候就将对应的内存块标记为空闲，这样就避免了每次都向操作系统申请和释放内存，只要程序中总的对象内存空间稳定，Python 向操作系统申请和释放内存的频率就会很低。这种方案是不是很熟悉，数据库连接池也是类似的思路。一般后端应用程序也是提前跟数据库建立多个连接，每次执行 SQL 的时候就从中找一个可用的连接与数据库进行交互，SQL 完成的时候就将连接交还给连接池，如果某个连接长时间未被使用，连接池就会将其释放掉。本质上，这些都是用空间换时间，消耗一些不算太大的内存，降低诸如内存申请和 TCP 建立连接等耗时操作的频率，提高程序整体的运行速度。

接下来具体看看 Python 的内存管理器是如何实现池化技术的，先概要介绍内存层次结构及分配内存的流程，然后结合源码详细展开。

内存层次结构

Python 内存管理器对内存进行了分层，从大到小分别为 arena、pool 和 block。arena 是内存管理器直接调用 malloc() 或 calloc() 向操作系统申请的一大块内存，Python 中对象的创建和释放都是在 arena 中进行分配和回收。在 arena 内部又分成了多个 pool，每个 pool 内又分成了多个大小相等的 block，每次分配内存的时候都是从某个 pool 中选择一块可用的 block 返回。每个 pool 内的 block 的大小是相等的，不同 pool 的 block 大小可以不等。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CPDSG0BS-1653219821464)(https://img2022.cnblogs.com/blog/2045526/202205/2045526-20220522123338692-1336587934.svg)]

arena、pool 和 block 的大小在 32 位机器和 64 位机器上有所不同，block 的大小必须是 ALIGNMENT 的倍数，并且最大为 512 字节，下表列出了不同机器上各种内存的大小。

	32 位机器	64 位机器
arena size	256 KB	1 MB
pool size	4 KB	16 KB
ALIGNMENT	8 B	16 B

以 64 位机器为例，所有可能的 block 的大小为 16、32、48 … 496、512，每个大小都对应一个分级(size class)，从小到大依次为0、1、2 … 30、31。每次分配内存的时候就是找到一个不小于请求大小的最小的空闲 block。对 block 的大小进行分级是为了适应不同大小的内存请求，减少内存碎片的产生，提高 arena 的利用率。

内存管理逻辑

了解了 arena、pool 和 block 的概念后就可以描述内存分配的逻辑了，假如需要的内存大小为 n 字节

1. 如果 n > 512，回退为 malloc()，因为 block 最大为 512 字节
2. 否则计算出不小于 n 的最小的 block size，比如 n=105，在 64 位机器上最小的 block size 为 112
3. 找到对应 2 中 block size 的 pool，从中分配一个 block。如果没有可用的 pool 就从可用的 arena 中分配一个 pool，如果没有可用的 arena 就用 malloc() 向操作系统申请一块新的 arena

释放内存的逻辑如下

1. 先判断要释放的内存是不是由 Python 内存管理器分配的，如果不是直接返回
2. 找到要释放的内存对应的 block 和 pool，并将 block 归还给 pool，留给下次分配使用
3. 如果释放的 block 所在的 arena 中除了自己之外其他的都是空闲的，那么在 block 归还之后整个 arena 都是空闲的，就可以将 arena 用 free() 释放掉还给操作系统

Python 中的对象一般都不大，并且生命周期很短，所以 arena 一旦申请之后，对象的分配和释放大部分情况下都是在 arena 中进行的，提高了效率。
上文已经将 Python 内存管理器的核心逻辑描述清楚了，只不过有一些细节的问题还没解决，比如内存分配的时候怎么根据 block size 找到对应的 pool，这些 pool 之间怎么关联起来的，内存释放的时候又是怎么判断要释放的内存是不是 Python 内存管理器分配的，等等。下面结合源码将内存分配和释放的逻辑详细展开。

先介绍 arena 和 pool 的内存布局和对应的数据结构，然后再具体分析 pymalloc_alloc() 和 pymalloc_free() 的逻辑，以 64 位机器为例介绍。

内存布局及对应的数据结构

Arena

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-C7gx0xUv-1653219821469)(https://img2022.cnblogs.com/blog/2045526/202205/2045526-20220522123405618-1219313488.svg)]

arena 为 1 MB，pool 为 16 KB，pool 在 arena 中是相邻的，一个 arena 中最多有 1 MB / 16 KB = 64 个 pool。Python 内存管理器会将 arena 中第一个 pool 的首地址跟 POOL_SIZE 对齐，这样每个 pool 的首地址都是 POOL_SIZE 的整数倍，给定任意内存地址都可以很方便的计算出其所在 pool 的首地址，这个特性在内存释放的时候会用到。POOL_SIZE 在 32 位机器上是 4 KB，在 64 位机器上是 16 KB，这样做还有另外一个好处就是让每个 pool 正好落在一个或多个物理页中，提高了访存效率。上图中的灰色内存块就是为了对齐而丢弃掉的，如果 malloc() 分配的内存首地址恰好对齐了，那么 pool 的数量就是 64，否则就是 63。当然 arena 不是一开始就将全部的 pool 都划分出来，而是在没有可用的 pool 的时候才会去新划分一个，当所有的 pool 全部划分之后布局如上图所示。

每个 arena 都由结构体 struct arena_object 来表示，但不是所有 struct arena_object 都有对应的 arena，因为 arena 释放之后对应的 struct arena_object 还保留着，这些没有对应 arena 的 struct arena_object 存放在单链表 unused_arena_objects 中，在下次分配 arena 时可以拿来使用。如果 struct arena_object 有对应的 arena，并且 arena 中有可以分配的 pool，那么 struct arena_object 会存放在 usable_arenas 这个双向链表中，同时，所有的 struct arena_object 无论有没有对应的 arena 都存在数组 arenas 中。usable_arenas 中