【Agent技术解读】memory（记忆）模块

本文原创作者：姚瑞南 AI-agent 大模型运营专家，先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗；多年人工智能行业智能产品运营及大模型落地经验，拥有AI外呼方向国家专利与PMP项目管理证书。（转载需经授权）           

目录

前言：

1. 什么是记忆？

1.1 感官记忆（Sensory memory）

1.2 长期记忆（LTM）

对应语言模型概念：

1.3 人类记忆发展史

1.4 Agent 记忆结构设计借鉴了人类记忆特点

2. LLM记忆从何而来？

2.1 内部任务信息（Inside-trial Information）: 当前任务执行信息

2.2 跨任务信息（ Cross-trial Information ）: 历史任务重的长期积累学习

2.3 外部知识（External Knowledge）

3. LLM记忆如何保存？

3.1 文本形式（如RAG）

3.2 参数形式

3.3 图谱

4. LLM记忆如何工作？

4.1 实际应用中

---

前言：

大半年前，介绍了基于LLM的Agent知识，文章《大模型智能体 LLM Agent》中提到：

Agent是大模型与场景间价值传递桥梁, 重要性不言而喻。

从功能上看，Agent有多个组件构成，规划、记忆和工具使用等

Agent = LLM + Planning + Feedback + Tool use

今天聊聊其中的一个组件：Memory，记忆模块

1. 什么是记忆？

记忆定义为用于获取、存储、保留和后续检索信息的过程，人类大脑中主要有三种类型的记忆。

1.1 感官记忆（Sensory memory）

记忆最早阶段，提供原始刺激结束后保留感官信息（视觉，听觉等）印象的能力，通常只持续几秒钟。

感官记忆的子类别包括图标记忆（视觉）、回声记忆（听觉）和触觉记忆（触觉）。

短时记忆（STM）或工作记忆（Working Memory）

存储了当下能意识到的所有信息，以及执行复杂的认知任务（如学习和推理）所需的信息，大概可以存储7件事，持续20-30秒。

1.2 长期记忆（LTM）

顾名思义，LTM可以将信息存储相当长的时间，范围从几天到几十年不等，具有基本上无限的存储容量。LTM有两种亚型：

1）显式/陈述性记忆，即对事实和事件的记忆，指那些可以有意识地回忆起来的记忆，包括情景记忆（事件和经验）和语义记忆（事实和概念）。

2）隐式/程序性记忆，这种类型的记忆是无意识的，包括自动执行的技能和例程，比如骑自行车或在键盘上打字。

对应语言模型概念：

1）作为原始输入（包括文本、图像或其他形式）的学习嵌入表征的感官记忆;

2）短期记忆就是上下文学习（in-context learning），非常短且影响范围有限，受到Transformer的上下文窗口长度的限制。

3）长期记忆作为智能体在查询时可用的外部向量存储，可通过快速检索访问。

可见，记忆模块像 Agent大脑，帮助积累经验，自我进化，让行为更加一致、合理和有效。

LLM Memory设计灵感来自人类记忆过程的认知科学研究。