list放缓存里_43. Dict 中的缓存技术

7b2c13ef57beecf6a2c5d7716b147922.png

Python 中大量使用了小 Dict 对象,与前面提到的一些基本类型类似,除了利用内存池提高内存分配的效率,Dict 也实现了 Dict 结构体的缓存池,实现对 Dict 结构体的复用,其定义:

// Objects/dictobject.c:250

/* Dictionary reuse scheme to save calls to malloc and free */
#ifndef PyDict_MAXFREELIST
#define PyDict_MAXFREELIST 80
#endif
static PyDictObject *free_list[PyDict_MAXFREELIST];
static int numfree = 0;
static PyDictKeysObject *keys_free_list[PyDict_MAXFREELIST];
static int numfreekeys = 0;

可以看到 Dict 的实现中对 PyDictObject 和 PyDictKeysObject 都进行的缓存,下面仅以 PyDictObject 为例。

根据注释也可以很清楚的看到,free_list 是全局数组,一些符合条件的 Dict 会被保存在这里,等待再次利用,减少内存操作。这个缓存池的大小是 80。C 语言的全局变量是自动初始化为 0,所以在最开始的时候,free_list 里面没有挂载任何有效的 Dict 结构体指针。变量 numfree 记录的是 free_list 中已经缓存的对象数量,由于 C 语言数组从 0 开始索引,所以 free_list[numfree] 刚好是下一个空闲位置。

a09d7fedc758e4a46b842a67db7c40ae.png

在创建 Dict 对象的时候,会优先从缓存中获取可利用的内存;

static PyObject *
new_dict(PyDictKeysObject *keys, PyObject **values)
{
    PyDictObject *mp;
    assert(keys != NULL);
    if (numfree) {
        mp = free_list[--numfree];
        assert (mp != NULL);
        assert (Py_TYPE(mp) == &PyDict_Type);
        _Py_NewReference((PyObject *)mp);
    }
   // ··· ···

当然,在天地初开之时 free_list 里空空如也,numfree 就是个大零蛋,那就之后老老实实的去申请内存了。当 Python 运行起来之后,很快就会迎来第一个 Dict 的释放:

static void
dict_dealloc(PyDictObject *mp)
{
    // ··· ··· 先妥善处理 Dict 的 keys、values

    // 如果 freelist 还没有满,就将当前对象纳入缓存
    if (numfree < PyDict_MAXFREELIST && Py_TYPE(mp) == &PyDict_Type)
        free_list[numfree++] = mp;
    else
        // 否则,内存 free,实际上这里的 free 还是要经过内存池,不一定是系统调用。
        Py_TYPE(mp)->tp_free((PyObject *)mp);
    Py_TRASHCAN_END
}

当释放了一个 Dict 对象时,缓存看起来这样:

899673866edead976ac1f52a54565f4d.png

这样下次调用 new_dict 的时候就可以从缓存中获取 PyDictObject 了。

PyDictKeyObject 的缓存过程类似,它有可能在 free_keys_object 或者 dictresize 的时候进行缓存。

Python 在缓存上的心思真的是无处不在。

关注我,了解程序员的烧脑日常,还有开源 Python 教程。

a7b15f27d2966a7909c7635a32434542.png
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
该资源内项目源码是个人的课程设计、毕业设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,心下载使用! ## 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 该资源内项目源码是个人的课程设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,心下载使用! ## 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。
以下是我对这段代码的优化和建议: 1. 类的属性最好在 `__init__` 方法初始化,而不是在类外部初始化。 2. `redis_client.hmset()` 可以使用 `redis_client.hset()` 替代,因为只有一个 key-value。 3. 在 `redis_client.hgetall()` 之前可以先检查一下 key 是否存在,可以避免返回空字典的情况。 4. `redis_client.expire()` 可以设置过期时间的同时返回一个 bool 值表示是否设置成功,可以用来判断是否需要执行下一步操作。 5. `permissions` 属性的默认值应该是一个空列表,而不是 None。 6. 在 `get_user_cache` 方法,`user_cache_dict.get('permissions')` 可能为 None,应该先检查一下是否为 None,然后再进行 split 操作。 7. 可以将 `redis_client` 对象作为参数传入方法,而不是在方法内部直接使用全局变量。 8. 可以考虑使用 `typing` 模块来指定函数的参数类型和返回值类型。 优化后的代码如下: ``` from typing import List import redis class UserCache(UserMixin): def __init__(self, userid='', username='', alternative_id='', homepage='', permissions: List[str] = []): self.userid = userid self.username = username self.alternative_id = alternative_id self.homepage = homepage self.permissions = permissions def get_id(self): return self.alternative_id @staticmethod def add_user_cache(alternative_id: str, redis_client: redis.Redis, **kwargs): user_key = f"{PROJECT_NAME}-{alternative_id}" values = {"alternative_id": alternative_id} values.update(kwargs) redis_client.hset(user_key, mapping=values) return redis_client.expire(user_key, SIGNIN_LIFETIME) @staticmethod def del_user_cache(alternative_id: str, redis_client: redis.Redis): redis_client.delete(f"{PROJECT_NAME}-{alternative_id}") return True @staticmethod def get_user_cache(alternative_id: str, redis_client: redis.Redis) -> object: user_key = f"{PROJECT_NAME}-{alternative_id}" if not redis_client.exists(user_key): return None user_cache_dict = redis_client.hgetall(user_key) user_cache = UserCache() user_cache.userid = user_cache_dict.get('userid', '') user_cache.username = user_cache_dict.get('username', '') user_cache.alternative_id = user_cache_dict.get('alternative_id', '') user_cache.homepage = user_cache_dict.get('homepage', '') user_cache.permissions = user_cache_dict.get('permissions', '').split(",") if user_cache_dict.get('permissions') else [] return user_cache ``` 建议: 1. 可以考虑将 `redis_client` 对象封装成一个类,方便在多个方法共用。 2. 可以考虑使用 `@classmethod` 和 `@staticmethod` 来定义类方法和静态方法,增加代码的可读性和可维护性。 3. 可以考虑使用 `logging` 模块来记录日志,方便调试和错误排查。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值