Python缓存妙用——让你的程序更出色更快速！-CSDN博客

本文链接：https://blog.csdn.net/python03012/article/details/135362027

前言

在 Python 应用程序中，使用缓存能够显著提高性能并降低资源消耗。本文将详细介绍如何在 Python 中实现缓存机制，包括内置 functools 模块提供的 lru_cache 装饰器以及自定义缓存机制。
在这里插入图片描述

使用 `functools` 模块的 `lru_cache`

functools 模块提供了 lru_cache 装饰器，可以轻松添加缓存到函数中。

from functools import lru_cache

@lru_cache(maxsize=128)
def fibonacci(n):
    if n <= 1:
        return n
    return fibonacci(n-1) + fibonacci(n-2)

# 调用函数并观察缓存效果
print(fibonacci(20))  # 第一次调用，不命中缓存
print(fibonacci(20))  # 第二次调用，命中缓存

文末领取Python全套最新学习资源

自定义缓存装饰器

自定义一个装饰器实现简单的缓存功能，以适应更多的自定义需求。

def custom_cache(func):
    cache = {}

    def wrapper(*args):
        if args in cache:
            return cache[args]
        result = func(*args)
        cache[args] = result
        return result

    return wrapper

@custom_cache
def custom_fibonacci(n):
    if n <= 1:
        return n
    return custom_fibonacci(n-1) + custom_fibonacci(n-2)

# 测试自定义缓存效果
print(custom_fibonacci(20))  # 第一次调用，不命中缓存
print(custom_fibonacci(20))  # 第二次调用，命中缓存

缓存的应用场景

缓存不仅适用于斐波那契数列等计算密集型任务，还适用于数据库查询、API 调用结果和复杂计算结果的存储。

@lru_cache(maxsize=256)
def query_from_database(query):
    # 模拟数据库查询
    # ...
    return result

# 第一次数据库查询
result1 = query_from_database('SELECT * FROM table')

# 第二次相同查询，命中缓存
result2 = query_from_database('SELECT * FROM table')

缓存的过期和失效处理

添加过期时间或周期性清理缓存是处理缓存数据过期和失效的重要策略。以下是相关的实现方法：

过期时间处理

可以通过为缓存数据设置过期时间，并在数据访问时检查数据是否过期，若过期则从缓存中移除。

from functools import lru_cache
import time

@lru_cache(maxsize=256)
def cached_function(arg):
    # 设置缓存有效时间为60秒
    cache_duration = 60

    # 缓存的时间戳
    if not hasattr(cached_function, "cache_timestamp"):
        cached_function.cache_timestamp = time.time()

    current_time = time.time()
    if current_time - cached_function.cache_timestamp > cache_duration:
        # 清理缓存并重新赋值时间戳
        cached_function.cache_clear()
        cached_function.cache_timestamp = current_time

    return arg  # 此处为缓存的数据，可替换为实际的计算结果

周期性清理缓存

可以定时执行清理缓存的操作，删除过期的缓存数据或根据特定规则清理缓存。

from threading import Timer

@lru_cache(maxsize=256)
def cached_function(arg):
    # ...（函数逻辑）

# 定时清理缓存，每60秒执行一次
def periodic_cache_cleanup():
    cached_function.cache_clear()
    Timer(60, periodic_cache_cleanup).start()

# 开启定时清理任务
Timer(60, periodic_cache_cleanup).start()

注意事项

在处理缓存的过期和清理时，需要考虑并发访问可能带来的问题，确保对缓存数据的操作是线程安全的。另外，适当的清理频率和合理的过期时间是需要仔细权衡的，以避免对性能造成额外的负担。

缓存淘汰策略

在自定义缓存中，你可以根据实际需求选择合适的淘汰策略。除了 LRU (Least Recently Used) 策略外，还有其他常见的淘汰策略：

LFU (Least Frequently Used)

基于使用频率较少的缓存数据进行淘汰，而非 LRU 策略基于最近最少使用。这种策略适用于需要更好地预测未来访问模式的场景。

FIFO (First In, First Out)

按照缓存数据最早进入的顺序进行淘汰，保留最近加入的数据。这种策略较为简单，适用于不需要考虑数据使用频率的场景。

LRU-K

LRU-K 策略结合了 LRU 和 LFU 的思想，基于最近访问次数和最近使用时间进行淘汰。该策略能更好地适应缓存数据的实际访问情况。

实现自定义缓存淘汰策略

from functools import lru_cache
from collections import OrderedDict

# 自定义缓存
class CustomCache:
    def __init__(self, max_size):
        self.max_size = max_size
        self.cache = OrderedDict()

    def __call__(self, func):
        def wrapper(*args):
            if args in self.cache:
                self.cache.move_to_end(args)
                return self.cache[args]
            result = func(*args)
            if len(self.cache) >= self.max_size:
                self.cache.popitem(last=False)
            self.cache[args] = result
            return result
        return wrapper

# 使用自定义缓存并设置淘汰策略
@CustomCache(max_size=128)
def custom_function(arg):
    return arg * arg

以上是一个示例，自定义了一个带有淘汰策略的缓存装饰器。在实际应用中，根据需求设计并实现合适的淘汰策略能够更好地管理缓存数据。

性能优化与注意事项

确保缓存的合理使用是关键，尤其是对于大型数据的缓存。以下是性能优化和注意事项：

1. 内存消耗与缓存大小

确保缓存大小是合理的，特别是在处理大型数据时。如果缓存数据过大，可能会占用过多内存，影响系统性能。

2. 定期清理和过期缓存

定期清理过期的缓存数据，以避免过多无用数据占用内存。实现合理的缓存清理机制，比如设定过期时间或周期性清理操作。

3. 缓存命中率监控

监控缓存命中率以评估缓存效果。高命中率表明缓存有效，低命中率可能表明缓存策略不合适或数据模式发生变化。

4. 缓存并发访问的安全性

确保缓存在并发访问下是安全的。考虑多线程或多进程的情况，避免出现竞态条件和数据不一致性。

5. 冷启动问题

在缓存刚启动或过期之后，由于缓存未命中，可能会引发一段时间的性能下降。考虑采用预热缓存的方法，提前加载常用数据，降低冷启动对性能的影响。

6. 限制缓存数据的生命周期

对于特定数据，限制其缓存生命周期，避免长时间存储对内存的过度消耗。

总结

缓存是优化 Python 应用程序性能的有效手段。functools 模块提供了简单易用的 lru_cache，而自定义缓存装饰器则允许更多的自定义和灵活性。合适地应用缓存能够显著提升程序的性能，但需注意在实际应用中灵活运用，避免不必要的资源浪费。

以上就是今天的全部内容分享，觉得有用的话欢迎点赞收藏哦！

Python经验分享

学好 Python 不论是用于就业还是做副业赚钱都不错，而且学好Python还能契合未来发展趋势——人工智能、机器学习、深度学习等。
小编是一名Python开发工程师，自己整理了一套最新的Python系统学习教程，包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。如果你也喜欢编程，想通过学习Python转行、做副业或者提升工作效率，这份【最新全套Python学习资料】一定对你有用！

小编为对Python感兴趣的小伙伴准备了以下籽料！

对于0基础小白入门：

如果你是零基础小白，想快速入门Python是可以考虑培训的！