论文阅读：A Survey on the Memory Mechanism of Large Language Model based Agents

A Survey on the Memory Mechanism of Large Language Model based Agents（基于大型语言模型的智能体记忆机制调查）

• 支持智能体与环境交互的关键要素是智能体的记忆：为了实现人工通用智能（AGI）的最终目标，智能机器应该能够通过自主探索现实世界并从中学习来提高自己

• 

• 内存的作用：

  • 如何积累知识
  • 处理历史经验
  • 检索信息知识

• 与环境互动并从环境中学习是基于 LLM 的智能体的基本要求。在智能体与环境的交互过程中，有三个关键阶段：

  • 智能体从环境中感知信息，并将其存储到内存中：将原始观测结果投射到实际存储的记忆内容中，使其更加详实和简洁
  • 智能体对存储的信息进行处理，使其更加可用：旨在处理存储的内存信息，使其更加有效，例如，总结、合并、遗忘
  • 智能体根据处理后的内存信息采取下一步行动：

• 记忆的概念：

  • 狭义概念：本试验中当前步骤之前所有步骤的历史信息
  • 广义概念：不同试验中的历史信息以及智能体与环境互动之外的外部知识

• 为什么我们需要基于 LLM 的智能体中的内存：

  • 认知心理学的视角：对于注意力、语言使用、记忆、感知、问题解决、创造力和推理，记忆被公认为是极其重要的过程
    • 通过积累重要信息和抽象高层次概念来学习知识
    • 过记忆文化价值观和个人经历来形成社会规范
    • 通过想象潜在的积极和消极后果来采取合理的行为
  • 自我进化的视角：为了完成不同的实际任务，智能体必须在动态环境中自我进化，而记忆对自我进化具有关键意义
    • 经验积累。记忆的一个重要功能是记住过去的错误计划、不当行为或失败经验，从而使智能体在未来处理类似任务时更加有效
    • 环境探索。要在环境中自主进化，智能体必须探索不同的行动并从反馈中学习。通过记忆历史信息，记忆可以帮助更好地决定何时以及如何进行探索
    • 知识抽象。记忆的另一个重要功能是从原始观察结果中总结和抽象出高层次信息，这是让机器人对未知环境更具适应性和概括性的基础
  • 智能体应用透视
    • 会话智能体中，内存存储了历史对话信息，这是智能体生成下一个响应所必需的
    • 在模拟智能体中，记忆对于使智能体始终遵循角色描述非常重要

• 如何实现基于 LLM 的智能体内存

  • 内存来源：

    • 试验内部信息：验中的历史步骤通常是支持智能体未来行动的最相关、最有信息量的信号；不仅包括智能体与环境的交互，还包含交互上下文，如时间和位置信息。
    • 跨不同试验的信息（交叉审判信息）：与作为短期记忆的内部试验观察相比，试验经验可视为长期记忆
    • 外部知识：不要求智能体亲自参与，极大地扩展智能体的知识边界，为其决策提供无限的、最新的和有理有据的知识

  • 记忆形式：文本形式和参数形式

    • 文本：有更好的可解释性、更容易实现、更快的读写效率

      • 完整的智能体-环境交互：基于长上下文策略、存储了智能体与环境交互历史的所有信息、注意力计算的时间复杂度骤增、无法得到平等、稳定的处理
      • 最近的智能体-环境交互：可变内存窗口大小、根据新旧程度缓存记忆、无法获取远期记忆中的关键信息从而忽视早期的关键信息
      • 检索的智能体-环境交互：根据记忆的相关性、重要性和主题来选择记忆内容、大多数智能体利用检索方法来处理记忆信息
      • 外部知识：部数据与内部决策过程相一致变得更加复杂、隐私、数据安全和遵守使用政策等方面的问题

    • 参数形式：

      • 微调：让智能体拥有领域专家的记忆、有效地缩小普通智能体与专业智能体之间的差距、引发灾难性遗忘的问题、计算成本和时间消耗、很少能处理在线场景
      • 知识编辑：更适合小规模的内存调整、因此更适合在线场景

    • 对比项	文本形式记忆	参数形式记忆
      有效性	更为全面和详细、受到LLM 提示符的标记限制	复杂的记忆训练困难、可能会出现信息丢失、不受提示符长度的限制
      效率	写入效率更高，记忆整合需要更高的成本和更长的处理时间	在编写过程中需要额外成本，读取效率更高
      可解释性	具有更好的解释性，适用回忆近期互动的任务	适用大量 记忆或成熟知识的任务

  • 内存操作：内存写入、内存管理和内存读取

    • 记忆写作：将一部分信息存储起来以备进一步使用，识别哪些信息是必须存储的至关重要，设计信息提取策略至关重要
    • 内存管理：灵感都来自人类大脑的工作机制：反思、提炼
    • 记忆阅读：记忆的写作形式在很大程度上影响着记忆的阅读方法（文本相似性和其他辅助信息）

• 如何评估基于 LLM 的智能体中的内存：

  • 直接评估：将智能体记忆视为一个独立的组成部分，即独立测量内存模块的能力
    • 主观评价：选择人工评估员
      • 连贯性：所回忆的记忆是否自然，是否适合当前情境
      • 合理性：所回忆的记忆是否合理
    • 客观评价：数字指标来评估内存模块的有效性和效率
      • 结果正确性：能否直接根据记忆模块成功回答预定义的问题
      • 参考准确性：否能发现相关的记忆内容来回答问题
      • 时间和硬件成本：内存**适配（写入+管理）和推理（读取+延迟）**的时间
  • 间接评估：通过任务完成情况进行评估
    • 对话：
      • 一致性：智能体的反应如何与上下文保持一致
      • 参与度：智能体回复的质量和吸引力，以及智能体为当前对话设计角色的能力
    • 多源答疑：综合评价来自多个来源的记忆信息，包括内审信息、跨审信息和外部知识
      • 考察智能体的记忆对不同来源内容的整合能力
      • 记忆矛盾问题
      • 知识更新问题
    • 长语境应用：根据超长提示做出决策

• 内存增强型智能体应用

  • 角色扮演和社会模拟：
    • 记忆应与角色的特征保持一致
    • 记忆应适当影响随后的智能体的行动
    • 仿人机器人记忆机制应符合人类记忆的特点（遗忘和长短期记忆等）
  • 私人助理
    • 智能体应记住用户与智能体交互过程中的事实信息，以及用户的个人风格，以便生成符合用户情况的回复
    • 采用文本形式的检索方法，因为它们能更好地从对话片段中找到相关信息
    • 智能体应识别并检索与当前查询和上下文相关的记忆
  • 开放世界游戏
    • 将事后观察结果作为任务情境，并存储以往成功试验的经验
    • 关键在于对过去的互动进行反思，并总结出可以应用于后续探索的经验
  • 代码生成
    • 忆还能提高代码生成的连续性和一致性
    • 通过整合上下文记忆，智能体可以更好地理解软件开发的要求
  • 推荐
    • 捕捉他们的偏好，通过记忆保留个性化信息
    • 将个性化信息和反馈与 LLMs 相结合，并将其存储到智能体的内存中，是一项严峻的挑战
  • 特定领域的专家系统
    • 基于 LLM 的智能体记忆外部知识的能力，知识图谱
  • 金融领域
    • 内存可存储金融知识[、市场信息 和成功经验
  • 科学
    • 智能体在内存中存储了大量知识
    • 分子数据库和在线文献作为基于 LLM 的智能体的外部记忆知识

• 局限性与未来方向

  • 基于 LLM 的智能体记忆：

    • 主要采用文本形式，具有可解释性强、易于扩展和编辑等优点，
    • 与参数记忆相比，它也意味着效率上的牺牲

  • 参数化记忆前景广阔：

    • 如何有效地将文本信息转化为参数或参数的修改是一个关键问题
    • 可解释性不足

  • 基于 LLM 的多智能体应用中的内存：

    • 智能体之间的记忆同步

    • 智能体之间的通讯

  • 基于记忆的终身学习：

    • 智能体可以不断与环境互动，持续观察环境，获取外部知识，实现像人类一样的提升模式

  • 仿人机器人的记忆：

    • 与任务型智能体不同的是，任务型智能体通常更倾向于能力更强的智能体，而仿人智能体的能力则应接近人类
    • 遵守记忆失真和遗忘等心理学原则
    • 仿人智能体应拥有知识边界：在角色扮演场景中，扮演儿童的智能体不应该理解高级数学 概念或其他超出该年龄段典型水平的复杂知识