python内存管理机制

1.  内存管理架构

   第0层： 是操作系统提供的内存管理接口，比如c运行时提供的malloc和free接口。这一层是由操作系统实现并管理的，python不能干涉这一层的行为。

   第1层：基于第0层操作系统提供的内存管理接口包装而成，其目的仅仅是为python提供一层统一的raw memory的管理接口。

    提供统一的接口是虽然不同的操作系统提供了ANSI C标准所定义的内存管理接口，但对于某些特殊的情况不同的操作系统有不同的行为。为了处理这些平台相关的内存分配行为，python必须要在C的内存分配接口上再提供一层包装。

  第2层：第1层所提供的内存管理接口其功能是有限的，想象一下，如果创建一个PyIntObject对象，还要进行许多额外的工作，比如设置对象的类型对象参数，初始化对象的引用计数器等。为了简化python自身的开发，python在比第一层更高的抽象层次上提供了第二层内存管理接口。GC是在这层实现的。

  第3层：在第2层内存管理机制之上，对于python的一些常用对象，比如整数对象，字符串对象等，python又构建了更高抽象层次的内存管理策略。对于第3层的内存管理策略，主要就是对象缓冲池对象。

2. 小块空间的内存池

    整个小块内存池可以视为一个层次结构，在这个层次结构中，一共分为4层，从下到上分别为：block、pool、arena和内存池。其中，block、pool和arena都是python代码中可以找到的实体，而最顶层的内存池只是一个概念上的东西，表示python对于整个小块内存分配和释放行为的内存管理机制。

  2.1 block

     在最底层，block是一个确定大小的内存块。在python中，有很多种block，不同种类的block都有不同的内存大小，这些内存大小的值就被称为size class。为了在当前主流32位和64位平台上都能获得最佳的性能，所有的block的长度都是8字节对齐的。

2.2 Pool

初始化pool的结构图：  

pool的内存申请情况如下：

2.3  arena

   arena的默认大小是256KB，那么大致相当于包含64个pool。

   arena的内存分布情况如下：

   arena在某时刻的可能状态：

  申请arena：

       

2.4  内存池

pool的三种状态：

     

  

  2.4.1 pool的初始化

 

2.4.2  block的释放

    当我们释放一个block后，可能会引起pool的状态变化：

     a) used状态转变成empty状态：

          将pool链接到链入到freepool中

     b) full状态转变成used状态：

        仅仅是将pool重新链回usedpools即可

     c）仍然还是used状态：

         python仅仅将释放的block放到自由block链表中，并调整pool中的ref.count这个引用计数器

 

      对arena的处理，分为下面4种情况：

    1）如果arena所有的pool都是empty，释放掉pool占用的内存，将arena链接到“未使用”状态

     2） 如果arena没有了empty的pool，那么usable_arenas链表中就找不到该arena，由于arena中有了一个pool，需要将这个arena链入到usable_arenas链表的表头

     3）

    4） 其他情况，不对arena进行任何的处理。

 

2.5 内存池全景图