论文浅尝 | 一个具有动态记忆和自我反思的自主代理

笔记整理：乔硕斐，浙江大学硕士，研究方向为自然语言处理

链接：https://arxiv.org/abs/2303.11366

动机

本文探究了让大规模语言模型具备自我反思能力的方法，让大模型模拟人类的思考方式，自己发现推理过程中的错误并实现自我反思和纠正。

最近，决策型大语言模型（LLM）代理在各种基准测试中展现出了令人印象深刻的性能。然而，这些最先进的方法通常需要对内部模型进行微调、对外部模型进行微调或对定义的状态空间进行策略优化。由于高质量训练数据的稀缺性或状态空间的缺乏定义，实现这些方法可能会带来挑战。此外，这些代理不具备人类决策过程固有的某些品质，特别是从错误中学习的能力。自我反思使人类能够通过试错的过程有效地解决新问题。本文提出Reflexio，这是一种赋予代理动态记忆和自我反思能力的方法，以增强其现有的推理轨迹和任务特定的行动选择能力。为了实现完全自动化，本文引入了一种简单而有效的启发式方法，使代理能够确定halluciation实例、避免行动序列的重复，并在某些环境中构建给定环境的内部记忆映射。

方法架构

本文面向的任务是语言模型做descision-making，主要架构如下图所示：