Automated Generation and Selection of State-Aware Guidelines for Large Language Model Agents

本文是LLM系列文章，针对《AutoGuide: Automated Generation and Selection of State-Aware Guidelines for Large Language Model Agents》的翻译。

摘要

大型语言模型（LLM）的主要局限性是它们对世界的理解受到限制。这给基于LLM的代理带来了重大困难，尤其是在预训练的LLM缺乏足够知识的领域。在本文中，我们介绍了一种称为AutoGuide的新框架，该框架通过利用离线体验中的隐性知识来弥合预训练的LLM中的知识差距。具体而言，AutoGuide通过提取一组状态感知指南，有效地提取嵌入离线数据中的知识。重要的是，每一条状态感知指南都用简洁的自然语言表达，并遵循条件结构，清楚地描述了适用的状态。因此，由此产生的指导方针能够以有原则的方式提供与代理人当前决策过程相关的有用知识。我们表明，我们的方法在顺序决策基准中以很大的优势优于竞争性的基于LLM的基线。

1 引言

2 相关工作

3 AutoGuide：基于状态感知指南的原理方法

4 评估

5 结论

在本文中，我们提出了AutoGuide，这是一个有效的框架，用于从离线体验中提取和利用重要的领域知识，以通过预训练的LLM改进决策。经过预训练的LLM通常缺乏解决下游领域任务所需的知识，为了填补这一知识空白，我们建议生成可纳入LLM代理提示中的状态感知指南。由于AutoGuide通过对比同一任务的成功和失败轨迹来提取指南，因此产生的状态