python源码分析笔记(5)

最新推荐文章于 2023-02-03 17:53:14 发布

smartab

最新推荐文章于 2023-02-03 17:53:14 发布

阅读量162

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/smartab/article/details/95314119

版权

python 专栏收录该内容

10 篇文章

订阅专栏

本文深入探讨了Python的list对象，包括PyListObject的定义、内存管理、对象创建与维护。重点阐述了PyList_New的内存计算、PyList_SetItem的元素设置过程以及插入和删除元素的操作，强调了这些操作对内存的影响和性能考虑。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Python的list对象

先来看看PyListObject的定义

typedef struct{
    PyObject_VAR_HEAD;
    PyObject **ob_item
    int allocated
} PyListObject;

ob_item这个指针和紧接着的allocated数值正是维护元素列表也就是PyString *列表的关键。指针指向了元素列表所在的内存块地址的首地址，而allocated中则维护了当前列表可容纳的元素总数。那PyObject_VAR_HEAD的ob_size和allocated又有什么关系呢？其实他们都与PyListObject对象的内存管理有关，他并不是存了多少东西就申请相应大小的内存，在每次申请内存的时候，PyListObject总会申请一大块内存，这时申请的总内存的大小记录在allocated中，而其中实际使用了的内存数量则记录在了ob_size中。

2.PyListObject对象创建与维护

PyObject* PyList_New(int size):

首先，Python在[1]处会计算所需的内存总量，因为PyList_New指定的仅仅是元素的个数，而不是元素所占的内存空间。

接下来就是Python对列表对象的创建动作。Python中的列表对象实际是分为两部分的，一是PyListObject对象本身，二则是PyListObject对象维护的元素列表。这是两块分离的内存，它们通过ob_item建立联系。

在创建PyListObject对象时，会首先检查缓冲池free_lists中是否有可用的对象，如果有，则直接使用这个可用对象，如果缓冲池所有对象都不可用，则会通过PyObject_GC_New在系统堆中申请内存，创建新的PyList-Object对象。实际上PyObject_GC_New除了申请内存外，还会为Python的自动垃圾收集机制做一些准备工作，不过在这里，我们还不打算深入到Python的垃圾收集机制。这里可以把PyObject_GC_New想象成malloc即可。

2.设置元素

int PyList_SetItem(register PyObject *op, register int i, register PyObject *newitem)
{
    register PyObject *olditem;
    register PyObject **p;
    if (i<0 || i>= ((PyListObject *)op)->ob_size){
        PyErr_SetString(PyExc_IndexError, "list assignment index out of range");
        return -1
    }
    //[2]:设置元素
    p = ((PyObject *)op)->ob_item+1;
    olditem = *p;
    *p = newitem;
    Py_XDECREF(olditem);
    return 0;
}

当我们在Python运行list[3]=100时，内部就是调用了PyList_SetItem来完成这个动作。首先进行类型检查，这里省略了，随后进行索引的有效性检查，当都顺利进行之后，将待加入的PyObject *指针放到指定的位置，然后调整引用计数，这里的olditem很可能会是NULL，所以这里必须要使用Py_XDECRE。

3.插入元素

插入元素可能会导致ob_item指向的内存发生变化，代码如下

int PyList_Insert(PyObject *op, Py_ssize_t where, PyObjct *newitem)
{
    ...//类型检查
    return insl((PyListObject *)op, where, newitem);
}

static int insl(PyListObject *self, Py_ssize_t where, PyObject *v)
{
    Py_ssize_t i, n = self->ob_size;
    PyObject **items;
    ....
    //[1]:调整容量
    if (list_resize(self, n+1) ==-1)
        return -1
    // [2]:确定插入点
    if (where <0){
        where+=n;
        if (where < 0)
            where = 0;
    }
    if (where >n)
        where = n;
    //[3]插入元素
    items = self->ob_item;
    for (i=n; --i>=where; )
        itmes[i+1] = itmes[i]
    Py_INCREF(V);
    items[where]=v;
    return 0;
}

可以看到，不管你插入在什么位置，对于Python来说都是合法的，它会自己调整插入的位置。确定了插入的位置后，会开始搬动元素。

删除元素与插入一样，都需要移动存在内存的元素。所以尽量避免频繁的使用insert和remove操作。