总结之LangChain（三）——模型IO缓存

一、聊天模型缓存

LangChain为聊天模型提供了一个可选的缓存层。这有两个好处：

如果您经常多次请求相同的完成结果，它可以通过减少您对LLM提供程序的API调用次数来帮您节省费用。
它可以通过减少您对LLM提供程序的API调用次数来加快您的应用程序速度。

from langchain_openai import ChatOpenAI
 
llm = ChatOpenAI()

from langchain.globals import set_llm_cache

内存缓存

%%time 是一个魔术命令，用于在代码中测量代码块的执行时间。它是Python编程语言中的一个内置命令，可以用来计算代码块的执行时间。通过在代码块前加上"%%time"，可以获取代码块的执行时间信息，包括总时间、CPU时间和内存使用情况等。
注意：%%time是Jupyter Notebook和IPython环境的特性，标准Python脚本(.py)或其他非交互式Python环境中无法直接使用。如果你在非Jupyter环境下需要类似功能，可以使用time模块来手动计时。

%%time
from langchain.cache import InMemoryCache
 
set_llm_cache(InMemoryCache())
 
# 第一次，它尚未在缓存中，所以需要更长的时间
llm.predict("明天天气怎么样")

%%time
# 第二次，由于已存在于缓存中，因此速度更快
llm.predict("明天天气怎么样")

完整示例代码

from langchain_openai import ChatOpenAI
from langchain.cache import InMemoryCache
from langchain.globals import set_llm_cache
import time
llm = ChatOpenAI(api_key="sk-XXXXX")


set_llm_cache(InMemoryCache())

start_time = time.time()

print(llm.predict("明天天气怎么样？"))
end_time = time.time()
execution_time = end_time - start_time
print(f"代码执行时间: {
     execution_time} 秒")

start_time = time.time()
print(llm.predict("明天天气怎么样？"))
end_time = time.time()
execution_time = end_time - start_time
prin