大模型是否潜在地进行多跳推理？_大模型中的多跳-CSDN博客

本文链接：https://blog.csdn.net/weixin_44292902/article/details/140852960

人工智能咨询培训老师叶梓转载标明出处

以往的研究表明，基于Transformer的LLMs能够在参数中存储和检索事实信息，以完成简单提示，例如“Stevie Wonder的母亲是谁”。此外，当必要信息明确给出时，LLMs表现出了显著的上下文推理能力。然而，当推理所需的信息不是输入的一部分时，LLMs是否能够执行多跳推理，这一点尚不清楚。

Google DeepMind、伦敦大学学院、Google Research 和特拉维夫大学的研究团队提出了一个具体的问题：“当处理如‘Superstition的歌手的母亲是谁’这样的两跳提示时，LLMs是否能够确定‘Superstition的歌手’指的是Stevie Wonder这一桥梁实体，以及利用他们对Stevie Wonder母亲的知识来完成提示？” 回答这个问题对于理解LLMs是否能够通过它们参数中隐含的知识进行连接和遍历，而不仅仅是在参数中冗余地存储信息至关重要。

图 1: 展示了研究的两个步骤：第一跳是改变输入提示以引用桥接实体（例如Stevie Wonder），并检查这是否增加了模型对该实体的内部召回。第二跳是检查增加这种召回是否使模型输出与它对桥接实体属性的知识（例如Stevie Wonder的母亲）更加一致。为了测试LLMs的多跳推理能力，研究者们设计了一个实验框架，通过改变输入提示来观察LLMs的内部召回（entity recall）和一致性（consistency）的变化。

研究者构建了一个名为TWOHOPFACT的数据集，用于研究多跳推理，数据集基于Wikidata构建，包含45,595个独特的双跳提示，涵盖52种类型的事实组合。每个双跳提示都设计成需要模型通过两次逻辑推理步骤来正确回答，例如确定特定歌曲的歌手是谁，然后再确定这位歌手的母亲是谁。数据集的构建旨在评估和分析LLMs在没有直接给出所有信息的情况下，是否能够利用其内部知识库来完成复杂的推理任务。通过这个数据集，研究人员可以更深入地了解LLMs的推理机制，并探索提高其推理效率和准确性的方法。