LangChain 之 Memory

前言

LangChain为LLM聊天程序提供了记忆组件，以便我们将对话历史中的信息发送给LLM，更好地为用户提供上下文。本文，我们就来一起学习下LangChain是如何使用Memory组件来打理对话历史中的信息的。记忆组件因何而来？因为LLM不再简单的像条鱼，只有七秒记忆， 随着token上限的不断提升，我们可以将多次对话聊天信息和LLM返回，做为prompt的增量，交给LLM, 让LLM更懂我们，更好的完成工作。

Memory 交互

记忆组件就好像银行，我们可以将信息存（写）入，也可以从它里面取（读）出。另一方面会取记忆组件的信息用以增强前者。

所以，在每次与LLM的交互中，链会与记忆组件交互两次：

• 用户完成输入后，在提交给LLM前，链从记组件读取历史信息，增强用户输入。
• LLM返回结果后，链又会将当前用户的输入和输出写入到记忆组件，更新对话历史。

Memeory 组件类型

LangChain提供了ConversationBufferMemory、ConversationBufferWindowMemory和ConversationSummaryMemory三种基本记忆组件类型来完成记忆工作。

• ConversationBufferMemory

ConversationBufferMemory是LangChain记忆组件中的劳模，为我们记录与LLM的对话历史信息。

我们要写入记忆组件的除了用户输入，记住还有模型输出。

# 引入ConversationBufferMemory 类
from langchain.memory import ConversationBufferMemory
# 实例化memory组件
memory = ConversationBufferMemory()
# save_context 方法存储对话及LLM的输出
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
print(memory)

从下面的打印结果，我们可以看到LangChain的Memory组件内部。HumanMessage代表用户输入，AIMessage代表LLM返回。

chat_memory=ChatMessageHistory(messages=[HumanMessage(content='Hi, LangChain!', additional_kwargs={}, example=False), AIMessage(content='Hey!', additional_kwargs={}, example=False)]) output_key=None input_key=None return_messages=False human_prefix='Human' ai_prefix='AI' memory_key='history'

那么，我们如何去获取消息数据呢？看下面的代码：

memory.chat_memory.messages

打印结果如下,以数组的形式存入着消息对象。

[HumanMessage(content='Hi, LangChain!', additional_kwargs={}, example=False), AIMessage(content='Hey!', additional_kwargs={}, example=False)]

memory对象上还有一个load_memory_variables方法，会将我们的对话历史生成文本，而不是数组。这些消息之间以\n的形式隔开。

memory.load_memory_variables({})

输出结果是：

{'history': 'Human: Hi, LangChain!\nAI: Hey!'}

用了一下， 感觉ConversationBufferMemory挺简单的，适用于交互回合少，input和output字符量不大的情况。当随着messages数组的增大，我们知道，不管是memory.chat_memory.messages还是load_memory_variables都会导致增强后的提示词tokens超过LLM的上下文限制，导致调用LLM失败。那么，接下来，我们看下Memory组件还为我们提供了哪些杀手锏。

• ConversationBufferWindowMemory

比上面的类型，多了一个window。ConversationBufferWindowMemory更好之处，在于可以方便的管理最近的K个交互。这让我们想到了滑动窗口机制，即规避了tokens的超载，同时又保证了上下文的有效性。省得开发者自己管理。所以，这里的window意思就是滑动窗口。

memory = ConversationBufferWindowMemory( k=1)
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
memory.save_context({"input": "Where are you?"}, {"output": "By your side"})

我们将k设置为1， 所以，总管在上面的代码中调用了save_context两次，Memory组件只会存一次对话信息。

我们调用load_memory_variables方法来看下结果：

{'history': 'Human: Hi, LangChain!\nAI: Hey!\nHuman: Where are you?\nAI: By your side'}

果然，Memory组件只记住了最后一次对话。可见，LangChain的记忆组件，通过滑动窗口方便地帮助开发者完成指定数量(K)的对话信息。

• ConversationSummaryMemory

ConversationSummaryMemory比较复杂了，这是为了解决tokens大小限制，在滑动窗口外的另一种方案。熟悉Embeding的同学应该会想到，当与LLM的对话次数越来越多，我们可以将load_memory_variables里的文本embedding后，再增强用户对话，这样也可以解决大小限制问题。ConversationBufferWindowMemory滑动窗口的K次截取，或多或少，还是会带来一些对话上下文的缺失，影响LLM与用户的交流。而ConversationSummaryMemory就好像看完一本书后，会写一篇总结，里面有多次会话的大概。这样，我们就不需要爱逐字逐句的把消息放入提示词占用太多Token, 而是先对历史进行总结，生成摘要，再交给prompt。

from langchain.memory import ConversationSummaryMemory
from langchain.llms import OpenAI

memory = ConversationSummaryMemory(llm=OpenAI(temperature=0, openai_api_key="您的有效openai api key"))
memory.save_context({"input": "Hi, LangChain!"}, {"output": "Hey!"})
memory.save_context({"input": "How to start with Next.js development?"}, {"output": "You can get started with its official developer guide."})
memory.save_context({"input": "Show me the link of the guide."}, {"output": "I'm looking for you now. Please stand by!"})

memory.load_memory_variables({})

输出是:

{'history': '\nThe human greets the AI, LangChain, to which the AI responds with a friendly "Hey!" The human then asks how to start with Next.js development, to which the AI responds with instructions to use the official developer guide, and provides a link when asked.'}

现在，记忆内容不再是数组，而是每次都会更新多次聊天的summary。有效地防止了多次会话带来的tokens开销，特别是对话次数比较大的情况。

总结

• 学习了ConversationBufferMemory类，了解Memory组件的save_context、chat_memory.messages、load_memory_variables方法
• 围绕多次对话，为丰富聊天上下文带来的tokens开销增速快的问题，ConversationBufferWindowMemory使用滑动窗口思路，保存最近K次对话解决了此问题; ConversationSummaryMemory使用LLM的summarization能力也解决了，赞！

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓