让你的聊天模型更高效：如何缓存响应_本地模型对话输出太慢-CSDN博客

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142536709

引言

在如今的AI应用中，聊天模型的使用变得日益普遍。但频繁调用大型语言模型（LLM）不仅可能导致延迟，还可能增加API使用成本。缓存是一个能解决这些问题的简单而有效的方法。本文将介绍如何为不同的聊天模型启用缓存功能，以节省成本和提高应用速度。

主要内容

为什么使用缓存？

缓存可以有效地存储模型响应，并在重复请求时直接返回缓存结果，而无需再次调用API。这带来的好处有：

降低成本：减少API调用次数。
提高速度：降低API访问延迟。

如何在LangChain中实现缓存

LangChain提供了一种简单的方式来实现缓存，支持多种提供商，包括OpenAI、Anthropic、Azure等。

环境准备

确保你已经安装了对应的LangChain包。例如：

pip install -qU langchain-openai

设置API密钥

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()  # 输入你的API密钥

使用LangChain与OpenAI接口

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

启用内存缓存

内存缓存会将模型调用存储在内存中，当环境重启时会被清除。这适用于短期使用。

from langchain.cache import InMemoryCache
from langchain.globals import set_llm_cache

set_llm_cache(InMemoryCache())

response = llm.invoke("Tell me a joke")

启用SQLite缓存

SQLite缓存可以在进程重启后保留数据，适用于长期使用。

from langchain_community.cache import SQLiteCache

set_llm_cache(SQLiteCache(database_path=".langchain.db"))

response = llm.invoke("Tell me a joke")

代码示例

以下是如何使用内存缓存的完整代码示例：

import os
from langchain_openai import ChatOpenAI
from langchain.cache import InMemoryCache
from langchain.globals import set_llm_cache

# 使用API代理服务提高访问稳定性
os.environ["OPENAI_API_KEY"] = "your_api_key"

llm = ChatOpenAI(model="gpt-4o-mini")
set_llm_cache(InMemoryCache())

# 第一次调用
response1 = llm.invoke("Tell me a joke")
print(response1.content)

# 第二次调用，使用缓存
response2 = llm.invoke("Tell me a joke")
print(response2.content)