笔记整理:乔硕斐,浙江大学硕士,研究方向为自然语言处理
链接:https://arxiv.org/abs/2303.11366
动机
本文探究了让大规模语言模型具备自我反思能力的方法,让大模型模拟人类的思考方式,自己发现推理过程中的错误并实现自我反思和纠正。
最近,决策型大语言模型(LLM)代理在各种基准测试中展现出了令人印象深刻的性能。然而,这些最先进的方法通常需要对内部模型进行微调、对外部模型进行微调或对定义的状态空间进行策略优化。由于高质量训练数据的稀缺性或状态空间的缺乏定义,实现这些方法可能会带来挑战。此外,这些代理不具备人类决策过程固有的某些品质,特别是从错误中学习的能力。自我反思使人类能够通过试错的过程有效地解决新问题。本文提出Reflexio,这是一种赋予代理动态记忆和自我反思能力的方法,以增强其现有的推理轨迹和任务特定的行动选择能力。为了实现完全自动化,本文引入了一种简单而有效的启发式方法,使代理能够确定halluciation实例、避免行动序列的重复,并在某些环境中构建给定环境的内部记忆映射。
方法架构
本文面向的任务是语言模型做descision-making,主要架构如下图所示: