论文笔记：Think-on-graph: Deep and responsible reasoning of large language model with knowledge graph

Daisymanman

已于 2024-03-09 09:54:46 修改

阅读量1.2k

点赞数 9

文章标签：论文阅读语言模型知识图谱

于 2024-03-07 19:21:04 首次发布

本文链接：https://blog.csdn.net/Daisymanman/article/details/136525822

版权

论文来源：ICLR 2024

论文地址：pdf (openreview.net)

论文代码：IDEA-FinAI/ToG: This is the official github repo of Think-on-Graph. If you are interested in our work or willing to join our research team in Shenzhen, please feel free to contact us by email (xuchengjin@idea.edu.cn)

Sun, Jiashuo, et al. "Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph." The Twelfth International Conference on Learning Representations. 2024.

Abstract

尽管大语言模型在各种任务中取得了显著的效果，但是经常存在幻觉问题。通过在LLM推理中引入外部知识图谱可以解决部分问题。本文提出一种新的LLM-KG集成范式，将LLM视为一个代理，交互探索KG上的相关实体和关系，并基于检索到的知识进行推理。作者引入一种名为在图上思考（Think-on-Graph, ToG）的方法来进一步实现这一范式，LLM代理在KG上迭代执行波束搜索，发现最优路径，并返回最有可能的推理结果。ToG方法的优点：① 与LLM相比，ToG具有更好的深度推理能力；② ToG通过利用LLM推理和专家反馈具有知识的可追溯性和知识可纠正性；③ ToG为不同的LLM、KG和提示策略提供了一个灵活的即插即用的框架，不需要额外的训练成本。④ 在某些情况下，使用小型的LLM模型的ToG的性能可能超过大型LLM，如GPT4，这降低了LLM部署和应用成本。

Introduction

LLM实现推理任务时，存在的挑战：① LLM通常无法准确回答超出预训练阶段所包含的知识（过时的知识）的问题，也无法回答需要长逻辑链和多跳推理的问题；② 幻觉问题；③ LLM的训练代价高，导致知识更新具有挑战性。（Figure 1(a)）

从KG中检索信息，相应地增加提示，并将提示输入带LLM中的方法，不直接参与图推理过程，这需要KG具有高完整度和高质量，否则，可能检索失败。（Figure 1(b)）

本文提出的ToG方法，KG和LLM协同工作，在图推理的每一步中补充彼此的能力，通过这种方式，LLM可以利用从KG中检索到的可靠知识生成正确答案。（Figure 1(c)）具体来说，给定一个输入问题，ToG首先识别初始实体，然后迭代调用LLM通过探索和推理从KG中检索相关的三元组，直到通过波束搜索的top-N个推理路径获得足够的信息来回答问题，或达到预定义的最大搜索深度。

Methods

ToG的整个推理过程包括3个阶段：初始化、探索、推理。

Think-on-Graph

Initialization of graph search

给定一个问题，ToG利用底层LLM来定位在KG上的推理路径的初始实体，这个阶段可以被视为Top-N个推理路径P的初始化。ToG首先提示LLM自动抽取问题中的主题实体，并获得该问题的Top-N个主题实体 $E^0=\left \{ e^0_1, e^0_2, ..., e^0_N\right \}$ 。

Exploration

在第d次迭代开始时，每个路径 $p_n$ 包含D-1个三元组，即 $p_n=\left \{ \left ( e_{s,n}^d ,r_{j,n}^d,e_{o,n}^d\right ) \right \}_{d=1}^{D-1}$ ，其中， $e_{s,n}^d$ 和 $e_{o,n}^d$ 分别是头尾实体， $r_{j,n}^d$ 是他们之间的关系， $\left ( e_{s,n}^d ,r_{j,n}^d,e_{o,n}^d\right )$ 和 $\left ( e_{s,n}^{d+1} ,r_{j,n}^{d+1},e_{o,n}^{d+1}\right )$ 之间是相互连接的，P中的尾实体集和关系集分别被表示为 $E^{D-1}=\left \{ e^{D-1}_1, e^{D-1}_2, ..., e^{D-1}_N\right \}$ 和 $R^{D-1}=\left \{ r^{D-1}_1, r^{D-1}_2, ..., r^{D-1}_N\right \}$ 。

探索阶段的第D次迭代的目的是利用LLM基于问题 $x$ 从当前Top-N的实体集 $E^{D-1}$ 的邻接实体中识别出最相关的top-N的实体集 $E^D$ 。为了解决LLM处理众多邻接实体的复杂性，本文采用两步探索策略：首先，探索重要的关系，然后使用选择的关系来指导实体探索。

Relation Exploration

关系探索是一个深度为1，宽度为N，从 $E^{D-1}$ 到 $R^D$ 的光束搜索过程。整个过程可以分解为两步（搜索和剪枝），使用LLM自动完成。

Search

在第D次迭代开始时，关系探索阶段首先为每个推理路径 $p_n$ 搜索连接到尾实体 $e^{D-1}_n$ 的关系 $R_{cand,n}^D$ ，这些关系被聚合成 $R_{cand}^D$ 。

Prune

当从关系搜索中获得了候选关系集 $R_{cand}^D$ 和扩展的候选推理路径 $P_{cand}$ ，利用LLM基于问题x的文本信息和候选关系 $R_{cand}^D$ ，从 $P_{cand}$ 中选择新的以尾关系 $R^D$ 结尾的Top-N的推理路径P。

Entity Exploration

与关系探索类似，实体探索也是利用LLM从 $R^D$ 到 $E^D$ 执行波束搜索的过程，包括搜索和剪枝两个步骤。

Search

当从关键探索中获得新的Top-N 的推理路径P和新的为关系 $R^D$ 后，对于每个关系路径 $p_n\in P$ ，通过查询 $\left ( e_n^{D-1}, r_n^D,? \right )$ 或 $\left ( ?,r_n^D,e_n^{D-1} \right )$ 探索候选实体集 $E_{cand,n}^D$ ，然后将 $\left \{ E_{cand,1}^D,E_{cand,2}^D,...,E_{cand,N}^D \right \}$ 聚合到 $E_{cand}^D$ ，并将Top-N的推理路径P扩展到具有尾实体 $E_{cand}^D$ 的 $P_{cand}^D$ 中。

Prune

由于每个候选集合 $E_{cand}^D$ 中的实体都是自然语言表示的，所以可以利用LLM来选择以 $P_{cand}$ 中的 $E^D$ 结尾的Top-N的推理路径P

Reasoning

通过探索得到当前推理路径P后，提示LLM评估当前的推理路径是否足以生成答案。如果评估产生积极结果，则提示LLM利用查询得到的推理路径生成答案，如果评估结果消极，则基线执行探索和推理步骤，直到评估结果积极，或达到最大搜索深度后利用LLM中的内在知识生成答案。

Relation-Based Thing-on Graph

基于关系的ToG从主题实体 $\left \{ e_n^0 \right \}_{n=1}^N$ 开始探索Top-N的关系链 $\left \{ p_n=\left ( e_n^0,r_n^1,r_n^2,...,r_n^D \right ) \right \}_{n=1}^N$ 。ToG-R与ToG相同，每次迭代都一次执行关系搜索、关系剪枝、实体搜索，然后ToG-R基于所有的通过实体搜索获得的以 $E_{cand}^D$ 结尾的候选关系路径执行推理步骤。如果LLM确定检索到候选推理路径不足以回答问题，则从候选实体 $E_{cand}^D$ 中随机采样N个实体，继续下一次迭代。假设每个实体集 $E_{cand,n}^D$ 中的实体可能属于同一个实体类型并包含相似的邻域关系，修剪实体集 $\left \{E_{cand,n}^D \right \}_{n=1}^N$ 的结果可能对后续的关系探索影响不大，因此，ToG-R使用的是随机波束搜索进行实体剪枝，而不是ToG中使用的LLM约束的波束搜索。

与ToG相比，TOG-R的好处：① 消除了使用LLM进行实体剪枝过程的需要，减少了总体成本和推理时间；② ToG-R强调关系的文本信息，减少了当中间实体丢失或陌生时对LLM产生的错误指导。

Daisymanman

关注

9
点赞
踩
29

收藏

觉得还不错? 一键收藏
0
评论
论文笔记：Think-on-graph: Deep and responsible reasoning of large language model with knowledge graph

尽管大语言模型在各种任务中取得了显著的效果，但是经常存在幻觉问题。通过在LLM推理中引入外部知识图谱可以解决部分问题。本文提出一种新的LLM-KG集成范式，将LLM视为一个代理，交互探索KG上的相关实体和关系，并基于检索到的知识进行推理。作者引入一种名为在图上思考（Think-on-Graph, ToG）的方法来进一步实现这一范式，LLM代理在KG上迭代执行波束搜索，发现最优路径，并返回最有可能的推理结果。ToG方法的优点：① 与LLM相比，ToG具有更好的深度推理能力；
复制链接

扫一扫