大模型论文 | 用于通用上下文推理的基于提示的知识图谱基础模型-CSDN博客

本文链接：https://blog.csdn.net/m0_59614665/article/details/147736391

Year:2024
Conference:NeurIPS
Address:https://doi.org/10.48550/arXiv.2410.12288

Introduction

知识图谱上的推理涉及从现有关系事实中推断出新的关系事实。早期的相关工作主要集中在转导设置下对静态知识图谱进行推理，但缺乏处理知识图谱中新实体或新关系的泛化能力。最近的研究考虑了已见过的实体和未见过的实体之间的关系模式，从而实现了归纳推理。然而，由于预训练的知识图谱和未见过的知识图谱之间的实体和关系词汇表既不共享也没有关联，这些方法在对未见过的知识图谱进行推理时仍然缺乏迁移能力。

将其泛化到新实体、新关系甚至不同知识图谱上的主要挑战在于如何表示这些未见过的数据。一些方法聚合了基于查询条件的关系结构来表示实体。它们可以利用这些相对的实体表示对未见过的实体进行归纳推理，而无需预训练的实体嵌入。然而，这些方法无法对未见过的关系进行推理。为了解决这个问题，一些最近的方法提出了相对关系表示。它们使用基于查询条件的关系图对关系之间的相互作用进行建模，其中每个节点代表一种关系，一条边表示在知识图谱中相连的两种关系共享一个主语或宾语实体。它们在基于查询条件的关系图上进行消息传递来表示关系。

然而，关系图仅描述了知识图谱中关系的连通性，较少关注查询中实体和关系的局部上下文。因此，这些方法通常无法生成具有判别性的关系表示。例如，为了推断查询关系 “parentOf”，最相关的关系是 “coupleOf”。而在知识图谱中，由于每个学生都有父母，并且大多数教师也是父母，关系图中还会包含边 “parentOf⇒teach” 和 “teach⇒parentOf”。关系 “teach” 在表示 “parentOf” 时就成了噪声，这可能会误导模型，导致预测失败。这启发要捕捉局部上下文，并突出与查询相关的重要关系，而不是依赖于全局关系图。

在本文中，作者提出了一种新颖的基于上下文学习的知识图谱推理基础模型，即 KG-ICL。上下文学习是一种让预训练模型仅基于几个示例就能学习任务的方法，且无需更新模型参数。上下文学习在语言建模领域取得的巨大成功，取决于三个关键要素：提示设计、统一的标记化处理，以及对上下文的理解与运用。

提示设计的精妙之处在于突出任务的关键信息。作者构建了一个提示图，用于对与查询相关的上下文进行建模，该提示图以一个关于查询关系的示例事实作为起始，即（主语，查询关系，宾语）。将两种类型的上下文作为提示。第一种是实体上下文，它包含示例中主语和宾语的相邻实体。第二种是关系上下文，它考虑了主语和宾语实体之间的关系路径。因此，提示图的节点集包括示例中主语和宾语的相邻节点，以及在知识图谱中连接主语和宾语的路径内的实体。利用这些实体构成的导出子图作为提示图。

然后，作者设计了一个适用于各种提示图的统一标记器。关键挑战在于，不同的知识图谱中实体和关系通常各不相同，这个问题同样也存在于提示图中。传统的知识图谱推理模型仅仅为每个实体或关系学习单独的嵌入，这导致它们无法对未见过的知识图谱进行推理。作者将实体标记方法扩展到关系上，提出了一种适用于各种提示图的统一标记器。给定一个查询关系及其提示图，首先根据实体到示例中主语和宾语实体的最短路径长度，对所涉及的实体进行分组。同样地，根据关系是否表示查询关系，将其分为两类。最后，同一组中的实体或关系将被映射到相同的标记。这样一来，来自不同知识图谱的提示图就可以用 “相同的语言” 来描述。

基于上述提示图和统一标记器，作者分别提出了两种消息传递神经网络，用作提示编码器和知识图谱推理器。提示编码器的输入是提示图和可学习的标记表示。在提示编码的每一层，引入了以实体为中心和以关系为中心的聚合操作。值得注意的是，在以关系为中心的聚合中，将关系视为特殊节点，并通过聚合包含这些关系的事实中的消息来更新它们的表示。在完成提示编码后，从提示图中读取关系表示，以支持知识图谱编码。在知识图谱编码的开始，将知识图谱中的关系表示初始化为提示关系表示。对于实体，将主语实体初始化为查询关系表示，其他实体初始化为零向量。在知识图谱上执行消息传递后，根据输出的实体表示对所有实体进行评分。

Contribution

本篇论文的关键贡献在于提出了一个基于上下文的知识图谱推理基础模型。它促使预训练模型在各种不同的知识图谱上进行关系推理。

提出了一种提示图作为支持上下文学习的背景信息。它由一个与查询关系相关的示例事实及其相关的子图和路径组成。同时还采用了一个统一的标记器，将提示图中的实体和关系映射为预定义的标记。
针对具有标记表示的提示图，提出了两种消息传递网络，分别用于提示图编码和知识图谱推理。这个基础模型可以在特定的知识图谱上进一步微调，以获得更好的性能。
在转导和归纳两种设置下，对 43 个知识图谱进行了广泛的实验，以展示此模型的通用推理能力。

Problem Definition

在这里插入图片描述

In-context Reasoning over KGs

Prompt Graph Generation

在本节中，将介绍一种生成提示图的具体方法。主要解决两个挑战：

(i) 如何使提示图对各种不同的知识图谱具有通用性？
(ii) 如何提供有价值的提示来增强推理能力？

在这里插入图片描述

Prompt Encoding

在本节中，作者设计了一种用于提示编码的消息传递神经网络。它由三个子模块组成：标记表示、消息传递和读出。首先初始化给定提示图中实体和关系的标记表示。随后，使用一个多层消息传递神经网络对提示图进行编码。最后，引入一个读出子模块来获取提示表示。

在这里插入图片描述

In-Context KG Encoding and Reasoning

基于提示编码，作者对知识图谱进行推理。为了实现与知识图谱无关的编码，从条件消息传递神经网络中获得灵感，提出了一种新颖的知识图谱推理模块。它根据查询分别对实体进行编码，而不是将它们映射到特定的嵌入，这提供了在不同知识图谱间进行知识迁移的机会。该模块由三个子模块组成：初始化、知识图谱编码和推理。

在这里插入图片描述

Pre-training Objective

在这里插入图片描述

Experiments

数据集与实现。 在 43 个不同模式和规模的数据集上进行实验，以评估模型。这些数据集分为三类：

(i) 14 个归纳式数据集，包括 GraIL中的 12 个数据集以及 2022 年 ILPC中的 2 个数据集；(ii) 13 个完全归纳式数据集；(iii) 16 个转导式数据集，包括 FB15k-237、WN18RR、NELL-995、YAGO3-10、CoDEx 、AristoV4、DBpedia100k、ConceptNet100k和 Hetionet。在三个数据集上对模型进行预训练，即有 180 种关系的 FB V1数据集、有 14 种关系的 NELL V1数据集，以及有 42 种关系的 CoDEx-s数据集，以捕捉知识图谱和提示图中的各种关系结构。

基线模型。 将 KG-ICL 与两类基线模型进行比较：(i) 有监督的当前最优模型（简称有监督 SOTA），指的是在特定目标数据集上取得最佳平均倒数排名（MRR）结果的模型。(ii) 预训练模型。ULTRA是一个知识图谱预训练模型，包括预训练版本和微调版本。为了研究在目标数据集上进行微调对所提出模型性能提升的能力，也引入了模型的两个版本：“KG-ICL 预训练” 和 “KG-ICL 微调”。预训练之后，微调模型使用与预训练相同的配置在目标数据集上进行 5 个轮次的微调。

在这里插入图片描述

Ablation study

作者通过移除某些模块构建了三个变体模型：“无提示图（w/o prompt graph）”、“无统一标记器（w/o unified tokenizer）” 和 “采用 GraIL 标记（w/ GraIL’s labeling）”。“无提示图” 模型移除了提示图生成和编码模块。其提示表示使用 Xavier 正态初始化方法进行初始化。“无统一标记器” 模型则去除了统一标记器，并使用 Xavier 正态初始化方法对提示图中实体和关系的输入表示进行初始化。“采用 GraIL 标记” 模型用 GraIL 的独热编码标记方法替代了作者的标记表示方法。可以观察到，与完整模型相比，“无提示图” 变体模型的性能显著下降，这突显了提示图作为知识迁移桥梁的必要性。“无统一标记器” 变体模型的性能也出现了下降，这表明了统一标记器对于上下文学习的重要性。“采用 GraIL 标记” 的模型也能取得不错的结果，尽管它仍落后于完整模型，这显示了该模型的泛化能力以及标记表示方法的有效性。

Conclusions

本文介绍了一种基于上下文学习的知识图谱基础模型，旨在提高知识图谱推理的有效性和可迁移性。具体而言，引入了提示图和统一标记器，将其作为不同知识图谱之间知识迁移的桥梁。在此之后，提出了一个提示图生成模块、一个提示编码模块以及一个知识图谱推理模块，以实现上下文学习。在转导和归纳两种设置下，在 43 个不同的知识图谱上对上下文推理能力进行了评估。大量的实验结果验证了该模型在各种不同知识图谱上的通用推理能力。

在未来的工作中，作者计划探索上下文推理在更具挑战性的场景中的应用，例如动态且多样的个人知识图谱。这一想法源于KG-ICL 模型的鲁棒性。此外，研究如何将上下文推理扩展到更多由知识驱动的应用中，比如推荐系统和问答系统，也是未来研究的一个很有前景的方向。