Python提供了自动化的内存管理,也就是说内存空间的分配与释放都是由Python解释器在运行时自动进行的,自动管理内存功能极大的减轻程序员的工作负担,也能够帮助程序员在一定程度上解决内存泄露的问题。以CPython解释器为例,它的内存管理有三个关键点:引用计数、标记清理、分代收集。
引用计数
对于CPython解释器来说,Python中的每一个对象其实就是PyObject
结构体,它的内部有一个名为ob_refcnt
的引用计数器成员变量。程序在运行的过程中ob_refcnt
的值会被更新并藉此来反映引用有多少个变量引用到该对象。当对象的引用计数值为0时,它的内存就会被释放掉。
以下情况会导致引用计数加1
:
- 对象被创建
- 对象被引用
- 对象作为参数传入到一个函数中
- 对象作为元素存储到一个容器中
以下情况会导致引用计数减1
:
- 用
del
语句显示删除对象引用 - 对象引用被重新赋值其他对象
- 一个对象离开它所在的作用域
- 持有该对象的容器自身被销毁
- 持有该对象的容器删除该对象
可以通过sys
模块的getrefcount
函数来获得对象的引用计数。引用计数的内存管理方式在遇到循环引用的时候就会出现致命伤,因此需要其他的垃圾回收算法对其进行补充。
垃圾回收
什么时候回收
1. 手动调用gc.collect()
2. GC达到阀值时
python在运行时, 记录其中分配对象和取消分配对象的次数,当两者的差值高于某个阀值时,垃圾回收才会启动。gc.get_threshold() threshold 门限,阀限(700, 10, 10) 700这个阀值
3. 程序退出时
分代回收
在循环引用对象的回收中,整个应用程序会被暂停,为了减少应用程序暂停的时间,Python 通过分代回收(空间换时间)的方法提高垃圾回收效率。分代回收的基本思想是:对象存在的时间越长,是垃圾的可能性就越小,应该尽量不对这样的对象进行垃圾回收。CPython将对象分为三种世代分别记为0
、1
、2
,每一个新生对象都在第0
代中,如果该对象在一轮垃圾回收扫描中存活下来,那么它将被移到第1
代中,存在于第1
代的对象将较少的被垃圾回收扫描到;如果在对第1
代进行垃圾回收扫描时,这个对象又存活下来,那么它将被移至第2代中,在那里它被垃圾回收扫描的次数将会更少。分代回收扫描的门限值可以通过gc
模块的get_threshold
函数来获得,该函数返回一个三元组,分别表示多少次内存分配操作后会执行0
代垃圾回收,多少次0
代垃圾回收后会执行1
代垃圾回收,多少次1
代垃圾回收后会执行2
代垃圾回收。需要说明的是,如果执行一次2
代垃圾回收,那么比它年轻的代都要执行垃圾回收。如果想修改这几个门限值,可以通过gc
模块的set_threshold
函数来做到。
0代成员 | 新建对象时产生,每次垃圾回收时都会被扫描 |
1代成员 | 0代经历10次垃圾回收还存活成为1代,0代扫10次才会扫描1次1代 |
2代成员 | 1代经历10次垃圾回收还存活成为2代,1代扫10次才会扫描1次2代 |
标记清理
采用分代回收,来扫描指定的对象,当检测到时垃圾的时候(标记对象),然后再清除垃圾(垃圾回收)。
主要用于解决循环引用。
1. 标记: 活动(有被引用),非活动(可被删除)
2. 清除: 清除所有非活动的对象
CPython使用了“标记-清理”(Mark and Sweep)算法解决容器类型可能产生的循环引用问题。该算法在垃圾回收时分为两个阶段:标记阶段,遍历所有的对象,如果对象是可达的(被其他对象引用),那么就标记该对象为可达;清除阶段,再次遍历对象,如果发现某个对象没有标记为可达,则就将其回收。CPython底层维护了两个双端链表,一个链表存放着需要被扫描的容器对象(姑且称之为链表A),另一个链表存放着临时不可达对象(姑且称之为链表B)。为了实现“标记-清理”算法,链表中的每个节点除了有记录当前引用计数的ref_count
变量外,还有一个gc_ref
变量,这个gc_ref
是ref_count
的一个副本,所以初始值为ref_count
的大小。执行垃圾回收时,首先遍历链表A中的节点,并且将当前对象所引用的所有对象的gc_ref
减1
,这一步主要作用是解除循环引用对引用计数的影响。再次遍历链表A中的节点,如果节点的gc_ref
值为0
,那么这个对象就被标记为“暂时不可达”(GC_TENTATIVELY_UNREACHABLE
)并被移动到链表B中;如果节点的gc_ref
不为0
,那么这个对象就会被标记为“可达“(GC_REACHABLE
),对于”可达“对象,还要递归的将该节点可以到达的节点标记为”可达“;链表B中被标记为”可达“的节点要重新放回到链表A中。在两次遍历之后,链表B中的节点就是需要释放内存的节点。