论文浅尝 | THINK-ON-GRAPH：基于知识图谱的深层次且可靠的大语言模型推理方法...

笔记整理：刘佳俊，东南大学硕士，研究方向为知识图谱

链接：https://arxiv.org/pdf/2307.07697.pdf

1. 动机

本文是IDEA研究院的工作，这篇工作将知识图谱的和大语言模型推理进行了结合，在每一步图推理中利用大语言模型检索图结构数据，实现了深层且可靠的推理。

1.1 大语言模型的问题

尽管大型语言模型（LLM）在各种任务中都取得了显著的表现，但在面临复杂的知识推理任务时有很大的局限性

（1）LLM通常无法准确回答需要预训练阶段以外的专业知识的问题或需要长逻辑链和多跳知识推理的问题

（2）LLM缺乏可靠性、可解释性和透明度，这引起了用户对“幻觉”和“有害文本”风险的担忧

（3）LLM的训练过程通常既昂贵又耗时，这使得它们很难保持最新的知识。

1.2 “LLM ⊕ KG”方法的局限性

一个自然而有潜力的解决方案是结合外部知识，如知识图谱（KGs），以帮助改进LLM推理。KGs提供结构化、明确和可编辑的知识表示，提供了一种互补的策略来减轻LLM的局限性。这些方法遵循一个范式：从KGs中检索信息，相应地增加提示，并将增加的提示输入LLM，这篇论文称为“LLM ⊕ KG”。

尽管LLM旨在整合LLM和KG的力量，但在这种范式中，LLM扮演着翻译器的角色，将输入问题转换为机器可理解的命令，用于KG的搜索和推理，但它并不直接参与图推理过程。不幸的是，这种低耦合度的范式有其自身的局限性，其成功在很大程度上取决于KG的完整性和高质量。

1.3 “LLM ⊗ KG”范式的提出

本文提出了一种新的高耦合“LLM ⊗ KG”范式，其中KG和LLM