专题1 python中的垃圾回收机制_#define py_clear(op)(1)

2401_84140734

于 2024-04-28 00:03:38 发布

阅读量1k

点赞数 30

文章标签： python jvm java

本文链接：https://blog.csdn.net/2401_84140734/article/details/138261460

版权

文章详细解释了Python中如何处理循环引用的问题，介绍了标记清除算法的工作原理，以及为何引入分代收集（如GenerationalGC）来优化内存管理，避免全堆扫描。还提到了Python中对象的生命周期和代际划分。

摘要由CSDN通过智能技术生成

循环引用的示例：
list1 = []
list2 = []
list1.append(list2)
list2.append(list1)

为了解决这两个致命弱点，Python又引入了以下两种GC机制。

标记清除

针对循环引用的情况：我们有一个“孤岛”或是一组未使用的、互相指向的对象，但是谁都没有外部引用。换句话说，我们的程序不再使用这些节点对象了，所以我们希望Python的垃圾回收机制能够足够智能去释放这些对象并回收它们占用的内存空间。但是这不可能，因为所有的引用计数都是1而不是0。Python的引用计数算法不能够处理互相指向自己的对象。你的代码也许会在不经意间包含循环引用并且你并未意识到。事实上，当你的Python程序运行的时候它将会建立一定数量的“浮点数垃圾”，Python的GC不能够处理未使用的对象因为应用计数值不会到零。
这就是为什么Python要引入Generational GC算法的原因！

标记清除（Mark—Sweep）』算法是一种基于追踪回收（tracing GC）技术实现的垃圾回收算法。它分为两个阶段：第一阶段是标记阶段，GC会把所有的『活动对象』打上标记，第二阶段是把那些没有标记的对象『非活动对象』进行回收。那么GC又是如何判断哪些是活动对象哪些是非活动对象的呢？
对象之间通过引用（指针）连在一起，构成一个有向图，对象构成这个有向图的节点，而引用关系构成这个有向图的边。从根对象（root object）出发，沿着有向边遍历对象，可达的（reachable）对象标记为活动对象，不可达的对象就是要被清除的非活动对象。根对象就是全局变量、调用栈、寄存器。

在这里插入图片描述

在上图中，我们把小黑圈视为全局变量，也就是把它作为root object，从小黑圈出发，对象1可直达，那么它将被标记，对象2、3可间接到达也会被标记，而4和5不可达，那么1、2、3就是活动对象，4和5是非活动对象会被GC回收。

标记清除算法作为Python的辅助垃圾收集技术主要处理的是一些容器对象，比如list、dict、tuple，instance等，因为对于字符串、数值对象是不可能造成循环引用问题。Python使用一个双向链表将这些容器对象组织起来。不过，这种简单粗暴的标记清除算法也有明显的缺点：清除非活动的对象前它必须顺序扫描整个堆内存，哪怕只剩下小部分活动对象也要扫描所有对象。

正如Ruby使用一个链表(free list)来持续追踪未使用的、自由的对象一样，Python使用一种不同的链表来持续追踪活跃的对象。而不将其称之为“活跃列表”，Python的内部C代码将其称为零代(Generation Zero)。每次当你创建一个对象或其他什么值的时候，Python会将其加入零代链表

“标记-清除”法是为了解决循环引用问题。可以包含其他对象引用的容器对象（如list, dict, set，甚至class）都可能产生循环引用，为此，在申请内存时，所有容器对象的头部又加上了PyGC_Head来实现“标记-清除”机制。任何一个python对象都分为两部分: PyObject_HEAD + 对象本身数据

// objimpl.h
typedef union _gc_head {
    struct {
        union _gc_head \*gc_next;
        union _gc_head \*gc_prev;
        Py_ssize_t gc_refs;
    } gc;
    long double dummy;  /\* force worst-case alignment \*/
} PyGC_Head;

在为对象申请内存的时候，可以明显看到，实际申请的内存数量已经加上了PyGC_Head的大小

// gcmodule.c
PyObject \*
\_PyObject\_GC\_Malloc(size_t basicsize)
{
    PyObject \*op;
    PyGC_Head \*g = (PyGC_Head \*)PyObject\_MALLOC(
                sizeof(PyGC_Head) + basicsize);    # 注意这里的sizeof(PyGC_Head)
    if (g == NULL) 
        return PyErr\_NoMemory();

    ......

    op = FROM\_GC(g);
    return op;

举例来说，从list对象的创建中，有如下主要逻辑：

// listobject.c
PyObject \*
PyList\_New(Py_ssize_t size)
{
    PyListObject \*op;
    ......
    op = PyObject\_GC\_New(PyListObject, &PyList_Type);
    ......
    \_PyObject\_GC\_TRACK(op);  # _PyObject_GC_TRACK就将对象链接到了第0代对象集合中
    return (PyObject \*) op;
}

分代回收

分配内存
-> 发现超过阈值了
-> 触发垃圾回收
-> 将所有可收集对象链表放到一起
-> 遍历, 计算有效引用计数
-> 分成 有效引用计数=0 和 有效引用计数 > 0 两个集合
-> 大于0的, 放入到更老一代
-> =0的, 执行回收
-> 回收遍历容器内的各个元素, 减掉对应元素引用计数(破掉循环引用)
-> 执行-1的逻辑, 若发现对象引用计数=0, 触发内存回收
-> python底层内存管理机制回收内存

python中，引入了分代收集, 总共三个”代”. Python 中, 一个代就是一个链表, 所有属于同一”代”的内存块都链接在同一个链表中
用来表示“代”的结构体是gc_generation，包括了当前代链表表头、对象数量上限、当前对象数量：

// gcmodule.c
struct gc_generation {
    PyGC_Head head;
    int threshold; /\* collection threshold \*/
    int count; /\* count of allocations or collections of younger
              generations \*/
};

Python默认定义了三代对象集合，索引数越大，对象存活时间越长

#define NUM\_GENERATIONS 3
#define GEN\_HEAD(n) (&generations[n].head)

/\* linked lists of container objects \*/
static struct gc_generation generations[NUM_GENERATIONS] = {
    /\* PyGC_Head,               threshold,  count \*/
    {{{GEN_HEAD(0), GEN_HEAD(0), 0}},   700,        0},
    {{{GEN_HEAD(1), GEN_HEAD(1), 0}},   10,     0},
    {{{GEN_HEAD(2), GEN_HEAD(2), 0}},   10,     0},
};

新生成的对象会被加入第0代，前面_PyObject_GC_Malloc中省略的部分就是Python GC触发的时机。每新生成一个对象都会检查第0代有没有满，如果满了就开始着手进行垃圾回收.

g->gc.gc_refs = GC_UNTRACKED;
 generations[0].count++; /\* number of allocated GC objects \*/
 if (generations[0].count > generations[0].threshold &&
     enabled &&
     generations[0].threshold &&
     !collecting &&
     !PyErr_Occurred()) {
          collecting = 1;
          collect_generations();
          collecting = 0;
 }

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！