Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain

本文是LLM系列文章，针对《Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering》的翻译。

摘要

大型语言模型（LLM），如GPT3.5、GPT4和LLAMA2，表现出奇地好，在许多任务上都优于人类专家。然而，在许多领域特定的评估中，由于相关语料库的训练不足，这些LLM经常出现幻觉问题。此外，微调大型模型可能会面临一些问题，例如LLM不是开源的，或者难以构建高质量的领域指令。因此，知识图谱等结构化知识数据库可以更好地为LLM提供领域背景知识，并充分利用LLM的推理和分析能力。在之前的一些工作中，LLM被多次调用，以确定在通过问题检索子图时，当前三元组是否适合包含在子图中。特别是对于需要多跳推理路径的问题，频繁调用LLM将消耗大量的计算能力。此外，在选择推理路径时，LLM将为每个步骤调用一次，如果其中一个步骤选择不正确，将导致后续步骤中的错误累积。本文整合并优化了一个基于LLM的KG推理路径选择流水线，可以减少对LLM的依赖。此外，我们提出了一种基于思想链（CoT）和页面排名的简单有效的子图检索方法，该方法可以返回最有可能包含答案的路径。我们在三个数据集上进行了实验：GenMedGPT-5k、WebQuestions和CMCQA。最后，RoK可以证明，使用更少的LLM调用可以获得与之前的SOTA模型相同的结果。

1 引言

2 相关工作