[论文笔记]REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS

引言

今天带来一篇经典论文REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS的阅读笔记，论文中文意思是 在语言模型中协同推理和行动。

虽然大型语言模型(LLMs)在语言理解和互动决策任务中展现出强大的能力，但它们在推理(例如思维链提示)和行动(例如行动计划生成)方面的能力主要被研究为独立的主题。在本篇工作中，作者探讨了使用LLMs以交错方式生成推理轨迹和任务特定行动的方法，从而在两者之间实现更大的协同作用：推理轨迹帮助模型归纳、跟踪和更新行动计划，并处理异常情况，而行动则使其能够与外部源(如知识库或环境)进行接口交互并收集额外信息。

作者将该方法命名为ReAct。

1 总体介绍

人类智能的一个独特特征是能够将面向任务的行动与语言推理无缝结合，据理论推测，这在人类认知中发挥着重要作用，能够实现自我调节或策略化并维持工作记忆。以在厨房里烹饪一道菜为例。在任何两个具体行动之间，我们可能会用语言进行推理，以跟踪进展(“现在所有东西都切好了，我应该把锅里的水烧热”)，处理异常情况或根据情况调整计划(“我没有盐，所以我用酱油和胡椒代替”)，以及意识到需要外部信息时(“我该如何准备面团？让我在互联网上搜索一下”)