从Think-on-Graph(ToG)到ToG 2.0：用知识图谱Prompt让LLM实现深度推理，ICLR2024

近期，利用图形结构进行构建AI应用成为行业共识之一。随着应用场景的不断拓展，LLMs的局限性也逐渐显现出来：它们往往难以处理需要深度推理的复杂任务，并且容易产生"幻觉"，即生成看似合理但实际上不准确或虚假的信息。

为了解决这些问题，研究人员一直在探索如何将外部知识有效地整合到LLMs中。在这个背景下，Think-on-Graph(ToG)作为ICLR2024上会的研究和其升级版Think-on-Graph 2.0(ToG 2.0)应运而生。

这两个方法都是通过结合知识图谱(KG)的结构化信息和LLMs的强大推理能力，来提升模型的性能。让我们深入了解这两个方法的演进过程，以及它们如何为AI领域带来新的可能性。

01

ToG：知识图谱上思考的开创性尝试

ToG的核心思想

ToG的核心思想是将LLM视为一个能够在知识图谱上进行交互式探索的智能代理。这种方法不同于传统的将KG信息直接嵌入到模型参数中的做法，而是让LLM动态地在KG上"漫步"，根据当前的推理需求来检索和利用相关知识。

这张图展示了三种不同的LLM推理范式，分别是(a) LLM-only、(b) LLM ⊕ KG 和 © LLM ⊗ KG (Think-on-Graph)。以下是对每个部分的详细解释：

(a) LLM-only：

这部分展示了传统的Chain-of-Thought提示方法。LLM直接基于自身的知识回答问题，但由于知识截止日期的限制，给出了错误的答案（Liberal Party）。

(b) LLM ⊕KG：

这种方法结合了LLM和知识图谱，但是松耦合的。

1. LLM首先生成SPARQL查询来检索相关信息。

2. 查询在知识图谱中执行，检索到Canberra位于Australia，但是没有找到Australia的majority party信息。

3. 由于信息不完整，LLM无法回答问题。

© LLM ⊗ KG (Think-on-Graph)：

这是一种紧耦合的LLM和KG结合方法，通过迭代式探索和推理来回答问题。

1. 从Canberra开始，LLM发现它是Australia的首都。

2. 然后探索与Australia相关的信息，找到当前总理是Anthony Albanese。

3. LLM利用自身知识推断Anthony Albanese属于Labor Party。

4. 最后，LLM综合所有信息，正确推断出Labor Party是Australia的多数党。

这种方法的优势在于：

- 能够进行多步推理

- 结合了KG的结构化信息和LLM的背景知识

- 可以处理KG中信息不完整的情况

- 推理过程透明，每一步都可以追踪

ToG的工作流程

这张图详细展示了Think-on-Graph (ToG) 方法的工作流程。我将按照图中的步骤逐一解释：

1. 搜索和剪枝阶段(Depth 1)：

- 从问题中识别出核心实体"Canberra"开始搜索。

- 探索与Canberra相关的关系，如"capital of"、“country”、"territory"等。

- 在剪枝阶段，LLM评估这些关系的相关性，选择最相关的关系（如"capital of"和"country"）。

- 识别出Australia和Australian Capital Territory作为重要相关实体。

2. 搜索和剪枝阶段(Depth 2)：

- 以Australia为中心实体进行第二轮搜索。

- 探索与Australia相关的新关系，如"prime minister"、"head government"等。

- 剪枝过程中，LLM确定"prime minister"是最相关的关系。

- 识别出Anthony Albanese作为Australia的总理。

3. 搜索和剪枝阶段(Depth 3)：

- 围绕Anthony Albanese进行第三轮搜索。

- 探索Albanese的相关信息，如"political party"、"occupation"等。

- 剪枝后，LLM确定"political party"是最相关的信息。

- 识别出Labor Party作为Albanese所属的政党。

4. 推理和生成答案：

- LLM综合之前搜索到的所有信息。

- 推理出多个可能的路径，如图底部所示的三条推理路径。

- 最终生成答案：Labor Party是澳大利亚（Canberra所在国家）的多数党。

这个过程展示了ToG方法如何通过迭代式的搜索、剪枝和推理，逐步构建出回答问题所需的知识链。每一步都涉及LLM对实体和关系的评估，确保探索的方向始终与问题相关。这种方法不仅能有效处理知识图谱中信息不完整的情况，还能利用LLM的推理能力来填补知识空白，最终得出准确的答案。

ToG的创新点

**1.动态知识检索：**ToG不依赖于预先定义的检索策略，而是让LLM根据当前的推理状态动态决定下一步的探索方向。这种方法能够更灵活地应对复杂的推理任务。

**2.多路径探索：**通过保持多个候选路径，ToG能够同时考虑多种可能的推理方向，从而提高找到正确答案的概率。

**3.可解释性：**ToG的探索过程是透明的，每一步的决策都可以追溯，这大大提高了模型推理的可解释性。

**4.知识可追溯性和可修正性：**由于ToG保留了完整的推理路径，当发现错误时，可以很容易地定位问题所在并进行修正。

ToG的实验结果

研究者们在多个数据集上评估了ToG的性能，包括ComplexWebQuestions(CWQ)、WebQSP、GrailQA等。结果显示，ToG在多跳推理任务上显著优于传统的提示方法和链式思考(Chain-of-Thought)方法。例如，在CWQ数据集上，ToG达到了69.5%的准确率，比基线方法提高了20%以上。

02

ToG 2.0：Graph的深度检索增强生成

虽然ToG在结合KG和LLM方面取得了显著进展，但研究者们发现，仅依赖KG中的三元组信息仍然存在局限性。为了进一步提升模型的推理能力，他们提出了ToG 2.0，这是一个更加先进的检索增强生成(RAG)框架。

ToG 2.0的核心思想和工作流程

ToG 2.0的核心思想是将问题与知识图谱对齐，并将KG作为一个导航工具来指导更深入、更精确的信息检索。这种方法不仅利用了KG的结构化信息，还引入了非结构化文本数据，从而实现了更全面的知识整合。具体可以看下这张图：

这张图展示了Think-on-Graph 2.0 (ToG 2.0)方法在处理复杂问题时的工作流程。

1. 问题分析：

图片顶部给出了问题：“Where was one of the runners born who almost broke Craig Virgin’s Illinois Boys Cross Country record?”

2. 初始信息检索 (a)：

- 系统首先检索到三条相关信息，包括Craig Virgin的记录信息、Craig Virgin的个人信息，以及IHSA（伊利诺伊州高中协会）的成立时间。

- 然而，这些信息并不足以回答问题，特别是缺少了打破记录的运动员的出生地信息。

3. 知识图谱探索 (b)：

- 系统开始在知识图谱上探索，从Craig Virgin开始。

- 找到了一些相关信息，如Craig Virgin参加了1984年奥运会，就读于Lebanon High School等。

- 但这些信息仍然不足以回答问题，因为没有找到打破记录的运动员的信息。

4. 深度探索和推理©：

- 系统继续深入探索，发现了更多相关信息。

- 找到了IHSA举办伊利诺伊州越野赛的信息。

- 重要突破：发现Lukas Verzbicas在2010年IHSA 3A级别比赛中，以仅差3秒的成绩接近打破Craig Virgin的记录。

- 系统能够推断出Lukas Verzbicas就是几乎打破记录的运动员。

- 进一步查找到Lukas Verzbicas出生在考纳斯，立陶宛。

5. 答案生成：

基于所有收集到的信息，系统能够生成正确的答案：Lukas Verzbicas几乎打破了Craig Virgin的记录，他出生在考纳斯，立陶宛。

这个例子展示了ToG 2.0如何通过多步骤的知识图谱探索和推理，解决复杂的问题。它不仅仅依赖于直接可用的信息，还能通过连接不同的信息点，推理出问题的答案。这种方法特别适合处理需要多跳推理的问题，即答案不能从单一信息源直接获得，而需要将多个相关但分散的信息片段组合起来。

ToG 2.0的创新点

**1.KG引导的信息检索：**ToG 2.0使用KG来理解问题中的深层连接，并精确缩小搜索范围，从而提高了检索效率和准确性。

**2.上下文增强的实体排序：**通过结合问题、当前三元组链和检索到的实体上下文来对候选实体进行排序，减少了实体歧义并确保了更准确的探索方向。

**3.迭代式深度检索：**通过在探索过程中遇到的实体来限制检索语料库的规模，提高了效率并减少了噪声。

**4.平衡推理速度和答案质量：**ToG 2.0采用了多项策略来优化性能，包括主题修剪、关系修剪优化和基于DPR的实体排序。

ToG 2.0的实验结果

研究者们在多个公开数据集上评估了ToG 2.0的性能，包括WebQSP、HotpotQA、QALD-10-en和FEVER。结果显示：

- 在WebQSP上，ToG 2.0达到了81.13%的准确率，比原始ToG提高了4.93%。

- 在HotpotQA上，ToG 2.0的表现尤为突出，达到40.91%的准确率，比当前最先进的基线方法提高了5.51%。

- 在QALD-10-en上，ToG 2.0将准确率提升到54.05%，比原始ToG提高了3.85%。

- 在事实验证任务FEVER上，ToG 2.0达到58.54%的准确率，虽然略低于某些专门设计的方法，但仍比原始ToG提高了5.84%。

03

ToG和ToG 2.0的深度比较

知识利用方式

-ToG：主要依赖KG中的三元组信息进行推理，这种方法虽然结构化程度高，但可能缺乏细节信息。

-ToG 2.0：结合了KG的结构化信息和非结构化文本数据，实现了更全面的知识整合。这种方法能够在保持高层概念关联的同时，提供更丰富的细节信息。

推理过程

-ToG：采用固定宽度的多路径探索，每一步都需要LLM进行评估和选择。

-ToG 2.0：引入了更灵活的推理过程，通过生成补充查询来动态调整探索方向，并使用预训练模型进行初步筛选，减少了对LLM的频繁调用。

实体和关系选择

-ToG：对每个实体和关系单独进行评估和选择。

-ToG 2.0：采用批量处理的方式，同时为多个实体选择关系，这不仅提高了效率，还使LLM能够考虑实体间的相互关联。

上下文利用

-ToG：主要依赖KG中的直接关系，可能忽略了实体的丰富背景信息。

-ToG 2.0：引入了实体上下文的检索和利用，这大大增强了模型对实体的理解和推理能力。

效率优化

-ToG：虽然引入了beam search来控制搜索空间，但在处理复杂问题时可能仍需要大量的LLM调用。

-ToG 2.0：通过主题修剪、关系修剪优化和基于DPR的实体排序等策略，显著减少了对LLM的调用次数，提高了推理效率。

可解释性

-ToG：通过保留完整的推理路径提供了良好的可解释性。

-ToG 2.0：在保持推理路径透明性的基础上，还提供了更丰富的上下文信息，使得推理过程更加可解释和可信。

04

ToG和GraphRAG的比较

在比较ToG技术和GraphRAG之前，我们需要明确这两种方法都是为了增强大型语言模型(LLMs)的推理能力而设计的，但它们采用了不同的策略来整合知识图谱(KG)和检索增强生成(RAG)技术。让我们从几个关键方面进行横向比较：

1. 基本思路

- ToG (Think-on-Graph)：

- 将LLM视为在知识图谱上进行交互式探索的智能代理。

- 通过迭代式的实体和关系探索，动态构建推理路径。

- GraphRAG：

- 结合了图神经网络(GNN)和传统的检索增强生成(RAG)方法。

- 使用GNN来学习图结构信息，然后将学到的表示用于增强检索和生成过程。

2. 知识利用方式

- ToG：

- 直接在原始知识图谱上进行推理，保留了KG的完整结构。

- 每一步都涉及LLM对实体和关系的评估和选择。

- GraphRAG：

- 首先使用GNN对图结构进行编码，生成节点和边的嵌入表示。

- 在检索阶段利用这些嵌入来找到相关的子图或路径。

3. 推理过程

- ToG：

- 采用多路径探索策略，同时考虑多个可能的推理方向。

- 推理过程是动态的，每一步都基于当前状态做出决策。

- GraphRAG：

- 通常是一次性检索相关的子图或路径，然后将其作为上下文提供给LLM。

- 推理过程更依赖于GNN的预处理和初始检索结果。

4. 可解释性

- ToG：

- 提供了高度透明的推理过程，每一步的决策都可以追溯。

- 易于理解模型是如何一步步得出结论的。

- GraphRAG：

- 可解释性相对较低，因为GNN的编码过程可能不够透明。

- 但检索到的子图或路径仍可以作为解释的基础。

5. 计算效率

- ToG：

- 在复杂查询时可能需要多次调用LLM，计算开销较大。

- ToG 2.0通过一些优化策略（如批处理）提高了效率。

- GraphRAG：

- 图编码过程可能比较耗时，但只需要进行一次。

- 检索过程通常比ToG更快，因为使用了预计算的嵌入。

6. 适应性和灵活性

- ToG：

- 对新知识的适应性强，可以直接在更新的KG上进行推理。

- 能够处理开放域的复杂查询。

- GraphRAG：

- 对KG的更新可能需要重新训练GNN模型。

- 在处理预先未见过的复杂查询时可能不如ToG灵活。

7. 知识表示

- ToG：

- 直接使用KG的原始三元组表示。

- 保留了知识的原始结构和语义。

- GraphRAG：

- 将知识转化为dense vector表示。

- 可能会损失一些细粒度的语义信息，但有利于快速检索。

8. 处理大规模KG的能力

- ToG：

- 通过beam search等策略控制搜索空间，但在大规模KG上可能仍面临效率挑战。

- GraphRAG：

- 理论上能更好地处理大规模KG，因为GNN可以学习到全局的图结构信息。

- 检索过程基于嵌入相似度，通常更快。

9. 与LLM的交互方式

- ToG：

- 与LLM进行频繁的交互，每一步推理都依赖LLM的决策。

- GraphRAG：

- 主要在最后的生成阶段与LLM交互，将检索到的信息作为上下文提供给LLM。

可以说，ToG和GraphRAG代表了两种不同的思路来结合KG和LLM。ToG更注重动态推理和过程透明性，而GraphRAG则侧重于利用图结构的全局信息来增强检索效果。在实际应用中，选择哪种方法可能需要根据具体任务需求、计算资源、知识库特性等因素来权衡。我想这两种方法的优势结合起来，应该可以创造出更强大、更灵活的知识增强推理系统。

05

ToG的应用

ToG可以应用的场景非常非常多，特别适合解决需要深度推理、多步骤分析和知识整合的复杂问题。它的应用场景广泛，我简单写了个SYSTEM PROMPT让其分析一下一个AI情感支持类的产品，不在使用订阅制而是采用任务完成模式进行收费，做一个简单的市场分析。还写了一段代码用于复现深度推理过程，代码使用的LLM是Deepseek，请鉴赏：

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】