LangChain 核心模块学习：Memory介绍、代码剖析、使用示例

于 2024-05-14 20:10:43 发布
阅读量1.1k 收藏 22
点赞数 30
文章标签： langchain 学习 microsoft 机器学习 人工智能 pytorch tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pythonhy/article/details/138868271
版权

背景

上下文衔接的能力 需要历史记录能力

  • 大多数LLM应用都具有对话界面。对话的一个重要组成部分是能够引用先前在对话中介绍过的信息。
  • 至少，一个对话系统应该能够直接访问一些过去消息的窗口。
  • 更复杂的系统将需要拥有一个不断更新的世界模型，使其能够保持关于实体及其关系的信息。

LangChain 核心模块学习：Memory

整体架构

image.png

什么是Memory

我们将存储过去交互信息的能力称为“记忆（Memory）”。

LangChain提供了许多用于向应用/系统中添加 Memory 的实用工具。这些工具可以单独使用，也可以无缝地集成到链中。

一个记忆系统（Memory System）需要支持两个基本操作：读取（READ）和写入（WRITE） 。

每个链都定义了一些核心执行逻辑，并期望某些输入。其中一些输入直接来自用户，但有些输入可能来自 Memory。

在一个典型 Chain 的单次运行中，将与其 Memory System 进行至少两次交互:

  • 在接收到初始用户输入之后，在执行核心逻辑之前，链将从其 Memory 中读取并扩充用户输入。

    • 有点类似读cache

  • 在执行核心逻辑之后但在返回答案之前，一个链条将把当前运行的输入和输出写入 Memory ，以便在未来的运行中可以引用它们

    • 有点类似存入cache的套路

具备的几个能力

  • 读
  • 写
  • 复用

具备记忆能力的大模型应用

image.png

代码剖析

BaseMemory Class 基类

类继承关系：

bash
复制代码
## 适用于简单的语言模型
BaseMemory --> BaseChatMemory --> <name>Memory  # Examples: ZepMemory, MotorheadMemory

代码实现：github.com/langchain-a…

python
复制代码
# 定义一个名为BaseMemory的基础类
class BaseMemory(Serializable, ABC):
    """用于Chains中的内存的抽象基类。
    
    这里的内存指的是Chains中的状态。内存可以用来存储关于Chain的过去执行的信息，
    并将该信息注入到Chain的未来执行的输入中。例如，对于会话型Chains，内存可以用来
    存储会话，并自动将它们添加到未来的模型提示中，以便模型具有必要的上下文来连贯地
    响应最新的输入。"""

    # 定义一个名为Config的子类
    class Config:
        """为此pydantic对象配置。
        Pydantic是一个Python库，用于数据验证和设置管理，主要基于Python类型提示。
        """
        # 允许在pydantic模型中使用任意类型。这通常用于允许复杂的数据类型。
        arbitrary_types_allowed = True
    
    # 下面是一些必须由子类实现的方法：
    
    # 定义一个属性，它是一个抽象方法。任何从BaseMemory派生的子类都需要实现此方法。
    # 此方法应返回该内存类将添加到链输入的字符串键。
    @property
    @abstractmethod
    def memory_variables(self) -> List[str]:
        """获取此内存类将添加到链输入的字符串键。"""
    
    # 定义一个抽象方法。任何从BaseMemory派生的子类都需要实现此方法。
    # 此方法基于给定的链输入返回键值对。
    @abstractmethod
    def load_memory_variables(self, inputs: Dict[str, Any]) -> Dict[str, Any]:
        """根据给链的文本输入返回键值对。"""
    
    # 定义一个抽象方法。任何从BaseMemory派生的子类都需要实现此方法。
    # 此方法将此链运行的上下文保存到内存。
    @abstractmethod
    def save_context(self, inputs: Dict[str, Any], outputs: Dict[str, str]) -> None:
        """保存此链运行的上下文到内存。"""
    
    # 定义一个抽象方法。任何从BaseMemory派生的子类都需要实现此方法。
    # 此方法清除内存内容。
    @abstractmethod
    def clear(self) -> None:
        """清除内存内容。"""

BaseChatMessageHistory Class 基类

类继承关系：

bash
复制代码
## 适用于聊天模型

BaseChatMessageHistory --> <name>ChatMessageHistory  # Example: ZepChatMessageHistory

python
复制代码
# 定义一个名为BaseChatMessageHistory的基础类
class BaseChatMessageHistory(ABC):
    """聊天消息历史记录的抽象基类。"""

    # 在内存中存储的消息列表
    messages: List[BaseMessage]

    # 定义一个add_user_message方法，它是一个方便的方法，用于将人类消息字符串添加到存储区。
    def add_user_message(self, message: str) -> None:
        """为存储添加一个人类消息字符串的便捷方法。

        参数:
            message: 人类消息的字符串内容。
        """
        self.add_message(HumanMessage(content=message))

    # 定义一个add_ai_message方法，它是一个方便的方法，用于将AI消息字符串添加到存储区。
    def add_ai_message(self, message: str) -> None:
        """为存储添加一个AI消息字符串的便捷方法。

        参数:
            message: AI消息的字符串内容。
        """
        self.add_message(AIMessage(content=message))

    # 抽象方法，需要由继承此基类的子类来实现。
    @abstractmethod
    def add_message(self, message: BaseMessage) -> None:
        """将Message对象添加到存储区。

        参数:
            message: 要存储的BaseMessage对象。
        """
        raise NotImplementedError()

    # 抽象方法，需要由继承此基类的子类来实现。
    @abstractmethod
    def clear(self) -> None:
        """从存储中删除所有消息"""

ConversationChain and ConversationBufferMemory

ConversationBufferMemory 可以用来存储消息，并将消息提取到一个变量中。

ini
复制代码
from langchain_openai import OpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemory

llm = OpenAI(temperature=0)
conversation = ConversationChain(
    llm=llm, 
    verbose=True, 
    memory=ConversationBufferMemory()
)

输出结果 image.png

ConversationBufferWindowMemory

记录时间轴上 最近的几次对话 每次输入 都会将历史的提问就拿过来

ConversationBufferWindowMemory 会在时间轴上保留对话的交互列表。它只使用最后 K 次交互。这对于保持最近交互的滑动窗口非常有用，以避免缓冲区过大。

python
复制代码
from langchain_openai import OpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferWindowMemory

conversation_with_summary = ConversationChain(
    llm=OpenAI(temperature=0, max_tokens=1000),
    # We set a low k=2, to only keep the last 2 interactions in memory
    memory=ConversationBufferWindowMemory(k=2),
    verbose=True
)
conversation_with_summary.predict(input="嗨，你最近过得怎么样？")

print(memory.load_memory_variables({})['history'])
# 输出
# System: 
# The human asks how the AI has been doing lately. The AI responds that it has been doing well, thanks for asking. It has been learning new knowledge and trying to improve its performance, including in the areas of natural language processing and machine learning. It has also been trying to communicate more in order to better understand human thinking.

ConversationSummaryBufferMemory

ConversationSummaryBufferMemory 在内存中保留了最近的交互缓冲区，但不仅仅是完全清除旧的交互，而是将它们编译成摘要并同时使用。与以前的实现不同的是，它使用token长度而不是交互次数来确定何时清除交互

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

Python秒杀
关注
  • 30
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LangChain的Memory的4种用法（一）
nkxsd2010的博客
08-06 908
LangChain是一个基于语言模型开发应用程序的开源框架，用于构建基于大语言模型（LLMs）的端到端语言模型应用。它的核心理念是为各种大语言模型应用提供通用的接口，简化开发过程，并提供一套工具、组件和接口来创建由LLMs和聊天模型支持的应用程序。LangChain提供了多种组件来简化我们开发大语言模型应用的难度，本文来介绍其中Memory的使用方式。
工具系列：PyCaret介绍- 异常检测示例.ipynb juypter代码
12-20
该函数初始化训练环境并创建转换流水线。在执行任何其他函数之前，必须调用设置函数。...# 获取所有可用的配置信息 get_config(){'USI','X','X_train','data','dataset','exp_id','idx','memory','seed','train',
大模型从入门到应用——LangChain：记忆（Memory）-[聊天消息记录]
冯·诺依曼
08-15 4125
有时候在连接到AWS端点时指定URL非常有用，比如在本地使用Localstack进行开发。对于这种情况，我们可以通过构造函数中的参数来指定URL。
LangChain - Memory
最新发布
编码时光
04-09 1098
一、内存记忆 ( Memory ) 入门 聊天消息历史 (ChatMessageHistory) ConversationBufferMemory Using in a chain 保存消息历史 二、如何为 LLMChain 添加记忆 三、对多输入 Chain 添加记忆 四、向代理添加记忆 五、向代理添加由数据库支持的消息记忆 六、会话缓存内存 ConversationBufferMemory 在链中使用 七、会话缓冲窗口记忆 ( Conversation buffer window memory ) 在链
【LangChain】Memory
山鬼谣的专栏
08-12 1215
本篇讲解 聊天的历史记录: 如何存储、如何查询。这里是使用类来完成存储和查询的。# 构建一个memory# 关联大模型llm=llm,# 查询# 请注意，我们只是传入“question”变量 - “chat_history”由memory填充公开两种方法和一个属性。它公开的两个方法是和，用于存储来自用户的消息和相应的 AI 响应。它公开的属性是message属性，用于访问所有以前的消息。
langchain主要模块(四)：Memory
张伟的专栏
10-17 412
首先，LangChain 提供了用于管理和操作以前的聊天消息的辅助工具。默认情况下，链式模型和代理模型都是无状态的，这意味着它们将每个传入的查询独立处理（就像底层的 LLMs 和聊天模型本身一样）。在某些应用程序中，比如聊天机器人，记住先前的交互是至关重要的。,我是张三\nAI: 你好，张三！{‘history’: ‘Human: 你知道我的姓名吗\nAI: 当然知道！2、有一些现成的可以完整特定功能的链，也可以理解为提高了工具方便使用。1、组件化了需要开发LLM所需要的功能，提供了很多工具，方便使用。
LangChain 中的 Memory
weixin_40090689的博客
03-25 355
LangChain 中的 Memory 是指用于存储和管理对话上下文信息的模块。
大模型从入门到应用——LangChain：记忆（Memory）-[记忆的存储与应用]
冯·诺依曼
08-15 5553
Zep 是一个存储、摘要、嵌入、索引和丰富对话式人工智能聊天历史记录的工具，并通过简单、低延迟的API进行访问。[3] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架：http://www.cnlangchain.com/[2] LangChain 🦜️🔗 中文网，跟着LangChain一起学LLM/GPT开发：https://www.langchain.com.cn/[1] LangChain官方网站：https://www.langchain.com/
大模型从入门到应用——LangChain：记忆（Memory）-[记忆的类型：对话知识图谱记忆、对话摘要记忆和会话摘要缓冲记忆]
冯·诺依曼
08-10 2681
现在让我们来看一下使用稍微复杂的记忆类型。这种类型的记忆会随着时间的推移创建对话的摘要。这对于从对话中压缩信息非常有用。我们还可以直接使用将和的概念结合起来。它在内存中保留了最近的一些对话交互，并将它们编译成一个摘要。与先前的实现不同，它使用标记长度来确定何时刷新交互，而不是交互数量。我们还可以直接利用。
大模型从入门到应用——LangChain：记忆（Memory）-[记忆的类型：会话缓存记忆、会话缓存窗口记忆和实体记忆]
冯·诺依曼
08-07 3419
本节将介绍如何使用对话缓存记忆`ConversationBufferMemory`。这种记忆方式允许存储消息，并将消息提取到一个变量中，我们首先将其提取为字符串：
outOfMemory:如何使用-XX的示例
05-17
这是如何使用它的一个例子。 startTest.sh启动一个Java程序，该Java程序在内存不足的情况下运行JVM。 发生这种情况时，将执行restart.sh脚本并重新启动测试。 是的，这会四处走动，按CTL + C来停止总线。安装 git ...
博文 《内存损坏 malloc(): memory corruption (fast)问题分析》 代码源码以及库文件
06-21
使用命令aarch64-linux-gnu-gcc -Wall test.c -o test_lora -DLORADATA_V1 ./libloradec.a -lpthread -lm命令进行编译 一般人下载没用，需要符合国网MQTT协议的无线2.4G或者470M传感器以及对应的接入模组才能在程序...
代码优化:有效使用内存 Code Optimization: Effective Memory Usage pdf 英文版
03-25
代码优化:有效使用内存 Code Optimization: Effective Memory Usage pdf 英文版 清晰，该书中文版翻译质量很差，建议直接读英文版
软件测试/人工智能|LangChain Memory模块：开启语言数据的存储与回忆之旅
Tester_muller的博客
11-27 222
大多数大模型应用中都包含对话功能，而对话功能的基础就是参与者能够基于已经发生的对话和获取到的知识产生新的对话内容。更复杂一点的场景中对话者甚至需要具有一个完整的对世界的认知，再根据对话中的信息对认知不断的进行迭代更新。随着人工智能和自然语言处理技术的飞速发展，语言数据的存储和处理变得越来越重要。为了满足这一需求，LangChain推出了其Memory模块，为用户提供了一个安全、可靠且高效的语言数据存储与检索解决方案。
大模型从入门到应用——LangChain：记忆（Memory）-[记忆的类型：对话令牌缓冲存储器和基于向量存储的记忆]
冯·诺依曼
08-13 3707
对话令牌缓冲存储器`ConversationTokenBufferMemory`
大模型从入门到应用——LangChain：记忆（Memory）-[基础知识]
热门推荐
冯·诺依曼
08-06 1万+
默认情况下，链（Chains）和代理（Agents）是无状态的，这意味着它们将每个传入的查询视为独立的（底层的LLM和聊天模型也是如此）。在某些应用程序中（如：聊天机器人），记住先前的交互则非常重要。记忆（Memory）正是为此而设计的。LangChain提供两种形式的记忆组件。首先，LangChain提供了用于管理和操作先前聊天消息的辅助工具，这些工具都被设计为模块化的使用方式。其次，LangChain提供了将这些工具轻松整合到链中的方法。记忆涉及了在用户与语言模型的交互过程中保持状态的概念。
​人工智能 | LangChain核心模块Memory：开启AI学习的黄金时代
慕漓的博客
12-13 933
可能会因为每条对话的数据量过大而导致超过token限制，而且对话的轮次也是设置不够灵活2.基于token数量限制的memory又可能因为最新的消息中内容过长，丢失前几次对话中的一些重要信息。所以LangChain提供了一种基于保存上下文概括信息的memory，这个memory利用大模型本身擅长处理分析对话消息的能力，将历史对话数据使用大模型概括成简短的文本，在尽量少丢失关键信息的情况下，同时也减少了历史信息占用的token数量。
std::unique_ptr使用示例
08-09
当使用std::unique_ptr时，您可以按照以下示例来初始化和使用它： ```cpp #include <iostream> #include <memory> class MyClass { public: MyClass() { std::cout << "MyClass created." << std::endl; } ~MyClass() { std::cout << "MyClass destroyed." << std::endl; } void doSomething() { std::cout << "Doing something." << std::endl; } }; int main() { // 初始化一个std::unique_ptr std::unique_ptr<MyClass> ptr(new MyClass()); // 使用箭头运算符来调用成员函数 ptr->doSomething(); // 当指针超出范围时，std::unique_ptr会自动释放内存 return 0; } ``` 在上面的示例中，我们首先创建了一个名为MyClass的类。然后，在main函数中，我们使用std::unique_ptr来初始化一个指向MyClass对象的指针。当我们使用箭头运算符（->）来调用成员函数doSomething时，它会输出"Doing something."。在程序结束时，由于std::unique_ptr的析构函数会自动释放内存，所以输出会显示"MyClass destroyed."。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值