list放缓存里_43. Dict 中的缓存技术

7b2c13ef57beecf6a2c5d7716b147922.png

Python 中大量使用了小 Dict 对象,与前面提到的一些基本类型类似,除了利用内存池提高内存分配的效率,Dict 也实现了 Dict 结构体的缓存池,实现对 Dict 结构体的复用,其定义:

// Objects/dictobject.c:250

/* Dictionary reuse scheme to save calls to malloc and free */
#ifndef PyDict_MAXFREELIST
#define PyDict_MAXFREELIST 80
#endif
static PyDictObject *free_list[PyDict_MAXFREELIST];
static int numfree = 0;
static PyDictKeysObject *keys_free_list[PyDict_MAXFREELIST];
static int numfreekeys = 0;

可以看到 Dict 的实现中对 PyDictObject 和 PyDictKeysObject 都进行的缓存,下面仅以 PyDictObject 为例。

根据注释也可以很清楚的看到,free_list 是全局数组,一些符合条件的 Dict 会被保存在这里,等待再次利用,减少内存操作。这个缓存池的大小是 80。C 语言的全局变量是自动初始化为 0,所以在最开始的时候,free_list 里面没有挂载任何有效的 Dict 结构体指针。变量 numfree 记录的是 free_list 中已经缓存的对象数量,由于 C 语言数组从 0 开始索引,所以 free_list[numfree] 刚好是下一个空闲位置。

a09d7fedc758e4a46b842a67db7c40ae.png

在创建 Dict 对象的时候,会优先从缓存中获取可利用的内存;

static PyObject *
new_dict(PyDictKeysObject *keys, PyObject **values)
{
    PyDictObject *mp;
    assert(keys != NULL);
    if (numfree) {
        mp = free_list[--numfree];
        assert (mp != NULL);
        assert (Py_TYPE(mp) == &PyDict_Type);
        _Py_NewReference((PyObject *)mp);
    }
   // ··· ···

当然,在天地初开之时 free_list 里空空如也,numfree 就是个大零蛋,那就之后老老实实的去申请内存了。当 Python 运行起来之后,很快就会迎来第一个 Dict 的释放:

static void
dict_dealloc(PyDictObject *mp)
{
    // ··· ··· 先妥善处理 Dict 的 keys、values

    // 如果 freelist 还没有满,就将当前对象纳入缓存
    if (numfree < PyDict_MAXFREELIST && Py_TYPE(mp) == &PyDict_Type)
        free_list[numfree++] = mp;
    else
        // 否则,内存 free,实际上这里的 free 还是要经过内存池,不一定是系统调用。
        Py_TYPE(mp)->tp_free((PyObject *)mp);
    Py_TRASHCAN_END
}

当释放了一个 Dict 对象时,缓存看起来这样:

899673866edead976ac1f52a54565f4d.png

这样下次调用 new_dict 的时候就可以从缓存中获取 PyDictObject 了。

PyDictKeyObject 的缓存过程类似,它有可能在 free_keys_object 或者 dictresize 的时候进行缓存。

Python 在缓存上的心思真的是无处不在。

关注我,了解程序员的烧脑日常,还有开源 Python 教程。

a7b15f27d2966a7909c7635a32434542.png
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值