Towards Enhancing Relational Rules for Knowledge Graph Link Prediction

摘要

图神经网络(gnn)在知识图推理中表现出了良好的性能。一种最新的GNN变体称为渐进式关系图神经网络(PRGNN)，它利用关系规则来推断关系图中的缺失知识，并取得了显著的结果。然而，在使用PRGNN进行推理时，经常忽略两个重要的属性:(1)关系组合的顺序性，不同关系组合的顺序影响关系规则的语义;(2)实体信息传播的滞后性，所需信息的传播速度滞后于新实体的出现速度。忽略这些属性会导致不正确的关系规则学习并降低推理准确性。为了解决这些问题，我们提出了一种新的知识图推理方法，即关系规则增强图神经网络(RUN-GNN)。具体而言，RUN-GNN采用查询相关融合门单元对关系组合的顺序性进行建模，并利用缓冲更新机制缓解滞后实体信息传播的负面影响，从而实现更高质量的关系规则学习。在多个数据集上的实验结果表明，RUN-GNN在转导和感应链路预测任务上都具有优越性。

1.介绍

知识图谱(KG)，如FreeBase (Bollacker等人，2008)、NELL (Carlson等人，2010)和YAGO (Suchanek等人，2007)，本质上是一种用于存储和组织知识的语义网络，广泛应用于各种场景，如问答(Yasunaga等人，2021;Galkin等人，2022)、推荐系统(Wang等人，2018)、语义搜索(Berant和Liang, 2014)等。然而，这些知识库中的每一个都面临着不完整的问题，这使得它们难以为下游应用程序提供有效的知识服务。因此，KG推理，即KG中的链接预测，被提出来自动补全缺失的知识，受到了研究者的广泛关注。

探索了各种链接预测方法，以方便对缺失知识的推理。以前的方法，如TransE (Bordes等人，2013)和ConvE (Dettmers等人，2018)通过学习和利用三元组中实体和关系的分布式表示来执行推理。由于这些方法只能捕获单个三元组的特征，因此提出了MINERVA (Das et al .， 2018)和M-walk (Shen et al .， 2018)等方法来挖掘由三元组组成的路径语义信息。为了进一步学习图结构的语义关联，CompGCN (Vashishth et al .， 2019)和KE-GCN (Yu et al .， 2021)等方法使用图神经网络(gnn)来聚合邻居信息。

最近的progressive relational graph neural network (PRGNN)渐进式关系图神经网络(PRGNN)，如NBFNet (Zhu et al .， 2021)和RED-GNN (Zhang and Yao, 2022)，是一种通过学习关系规则来推断缺失知识的高级KG链路预测方法。关系规则是指仅由有序关系组成的Horn子句(Horn Clause），如has_f ather_in_law(a, c)←has_wife(a, b)∧has_f father (b, c)。在基于PRGNN的方法中，每个实体的表示编码特定关系有向图(r-有向图)的信息(Zhang and Yao, 2022)。然而，我们注意到关系组合的顺序性和滞后的实体信息传播会影响推理过程中编码关系规则的质量，而上述方法缺乏处理这两个特性的能力。

关系组合的顺序性是指不同关系组合的顺序影响关系规则的语义。例如，关系规则has_f father (a, c)←has_sister(a, b)∧has_f father (b, c)和has_aunt(a, c)←has_f father (a, b)∧has_sister(b, c)包含两个相同的关系has_sister和has_f father。把两种不同的关系以不同的顺序组合起来，可以得出不同的结论。然而，现有的基于prgnn的方法由于使用加法和乘法运算来整合实体和关系的表示的标准实践，在编码这些顺序信息方面面临限制。因此，这些方法容易误解编码的关系规则信息，最终限制了它们的推理能力。

实体信息传播滞后现象是指所需信息的传播速度滞后于新实体的出现速度。PRGNN通过在增长的子图上传播信息来更新实体表示，子图中的实体被视为候选答案实体。因此，随着PRGNN向前传播，新的候选应答实体不断出现。然而，这些新实体通常拥有有限的关系路径信息，而大量的关键信息仍然被困在旧的候选答案实体中，而没有及时传达给新实体。以图1为例，假设我们想要推断Andrew的岳母是谁who Andrew’s mother-in-law is。正确答案实体Mia是图1 (d)中一个新的候选答案实体，它只能获取Andrew到Mia的最短关系路径的信息。而真正的关键信息则保留在旧的候选答案实体Ethan中。 因此，对给定的问题做出正确的判断就变得具有挑战性。这种现象使得模型在训练阶段更容易学习到错误的关系规则，在推理阶段更容易得出错误的结论。

图1:图(a)为KG。图(b)、(c)和(d)描述了基于prgnn的方法对KG的查询(Andrew, has_mather_in_law， ?)→M ia的顺序推理过程。(e)为KG使用我们的缓冲模块后的状态。表示关系路径r2(a, b)∧r1(b, c)。图(c)中描述的实体表示是利用图(b)中的实体表示及其相互连接的关系(包括图(d)和图(e))生成的。

为了解决上述问题，我们提出了一种新的KG链路预测方法，称为关系规则增强图神经网络(RUN-GNN)，该方法配备了两种增强关系规则的策略。第一种增强策略涉及使用与查询相关的融合门单元来更新关系规则的表示。这使得RUN-GNN能够更好地对关系之间的各种组合模式进行编码，并从候选规则池中识别最有价值的关系规则。第二种策略是使用缓冲更新机制。这涉及到向PRGNN编码器添加一个缓冲模块，允许将滞后信息传输到需要它的实体。通过这样做，候选答案实体迅速接收到必要的信息，从而降低了模型学习错误规则的风险。上述两种策略都允许该方法有效地学习和利用增强的关系规则，从而提高了方法的性能。

简而言之，本文的主要贡献如下:

1. 据我们所知，我们首次研究了KG链路预测中关系组成的顺序性和滞后的实体信息传播，并提出了一种新的基于prgnn的KG链路预测框架RUN-GNN来增强关系规则。
2. 提出了一种查询相关融合门单元(QRFGU)，根据查询关系对不同的关系规则进行有序融合。使用QRFGU作为消息传递函数，可以对关系组合的顺序性进行建模，显著提高推理性能。
3. 设计了缓冲更新机制，帮助实体获取更丰富的推理规则信息，克服实体信息传播滞后的问题。
4. 在感应和传感设置下的多个数据集上进行了实验，实验结果表明RUN-GNN比现有方法有了实质性的改进。

2.相关工作 

2.1 Inductive Knowledge Graph Reasoning

归纳KG推理方法可以对看不见的实体进行推理。一些归纳方法将已见实体的表示聚合为未见实体的表示。这些方法的例子包括LAN(Wang et al .， 2019a)和CFAG (Wang et al .， 2022)。还有一些归纳方法根本不依赖于所见实体的表示，而是完全依赖于关系子图进行推理。这些方法的例子包括GraIL (Teru等人，2020)和CoMPILE (Mai等人，2021)，RED-GNN (Zhang和Yao, 2022)。

2.2 Triple Information based Link Prediction

基于三元组信息直接推理具有实体和关系表示的三重组的方法，包括TransE (Bordes等人，2013)、TransR (Lin等人，2015)、TransH (Wang等人，2014)、HypE (Fatemi等人，2021)、RotatE (Sun等人，2018)、DistMult (Yang等人，2015)、ConvE (Dettmers等人，2018)、HAKE (Zhang等人，2020)、HousE (Li等人，2022)。这些方法简单、高效，但不能充分利用图的结构特征，且具有不可解释性。

2.3 Path Information based Link Prediction

基于路径信息的方法主要包括基于路径的方法和基于规则的方法。基于路径的方法通过学习和利用路径来预测三元组，包括MINERVA (Das等人，2018)、M-walk (Shen等人，2018)、CURL (Zhang等人，2022)等。基于规则的方法通过挖掘一系列路径来找到规则，并将这些具有高可靠性的路径作为推理规则，包括RNNLogic (Qu等人，2020)、DRUM (Sadeghian等人，2019)、NeuralLP (Yang等人，2017)、RLogic (Cheng等人，2022)。基于路径信息的方法具有很好的可解释性，但对于长路径的推理具有挑战性。

2.4 Graph Structure Information based Link Prediction

2.4.1 Graph Neural Network based Link Prediction

在齐次图引入图卷积网络(Graph Convolutional Networks, GCN) (Kipf and Welling, 2016)之后，研究人员的注意力也被吸引到了异构图上。关注实体之间关系的R-GCN (Schlichtkrull et al .， 2018)很快被提出。随后的研究人员进一步开发了各种异构图推理的图神经网络方法，如HAN (Wang等人，2019b)、BA-GNN (Iyer等人，2021)、CompGCN (Vashishth等人，2019)和KE-GCN (Yu等人，2021)。

2.4.2 Subgraph-based Link Prediction

与传统的基于gnn的方法相比，基于子图的方法通常明确地对实体的邻域子图进行采样和编码以进行推理。早期基于子图的方法需要在每个推理步骤中对每个涉及的实体进行多跳子图采样，导致时间复杂度高，限制了它们在小数据集和关系预测任务中的应用。这类方法的例子包括GraIL (Teru等人，2020)、SNRI (Xu等人，2022)、LogCo (Pan等人，2022)、ConGLR (Lin等人，2022)、CoMPILE (Mai等人，2021)、CFAG (Wang等人，2022)。

2.4.3 PRGNN-based Link Prediction

基于prgnn的推理方法是一种先进的基于子图的KG链路预测方法，通过将r-有向图序列编码为关系规则表示来进行推理，包括nbbfnet (Zhu et al .， 2021)和RED-GNN (Zhang and Yao, 2022)。Zhu等人(2021)利用神经网络对Bellman-Ford算法进行了扩展，提出了NBFNet，其性能最好的实例模型遵循PRGNN的推理模式，首次验证了PRGNN的有效性。Zhang和Yao(2022)首次通过递归编码r-有向图，正式提出了高效的渐进式关系图神经网络框架RED-GNN。这极大地改善了基于子图方法的高时间复杂度问题。

2.5 Link Prediction with Extra Information

大多数KG推理方法通常从现有的事实三元组中学习如何进行推理。然而，有些方法也包含了用于推理的附加信息。例如，JOIE (Hao等人，2019)和DGS (Iyer等人，2022)等方法引入了本体信息，而KG-BERT (Yao等人，2019)和StAR (Wang等人，2021)等方法引入了文本信息。另一方面，MKGformer (Chen et al .， 2022)利用额外的多模态信息进行推理。

3.Methodology

3.1 Problem Definition

根据测试集中的实体是否出现在训练集中，链路预测任务可以分为归纳设置和转换设置。使用归纳设置，测试集中的实体不会出现在训练集中。我们提出的方法RUN-GNN能够同时完成传导和感应任务。

3.2 Progressive Relational Graph Neural Network

PRGNN是gnn的高级变体，它通过学习KG中的关系规则来进行KG链路预测。传统gnn在每次传播期间更新图中所有实体的表示，而基于prgnn的方法在第i次传播期间仅更新查询头实体的第i跳邻居的表示。此外，它不学习实体的表示，而只学习关系和关系规则的表示。它将图编码为用于链接预测的规则信息表示。

基于规则的方法和基于prgnn的方法都只使用关系组合进行推理，但在利用形式上存在一定的差异。基于规则的方法使用一组关系规则在查询头实体的邻域中搜索候选答案实体，并根据匹配规则从候选答案实体中选择答案实体。相比之下，基于prgnn的方法将邻域中的所有实体视为候选答案实体，并使用gnn将r-有向图编码为候选实体的表示。然后根据实体的表示选择应答实体。因此，基于prgnn的方法通过学习关系规则来执行推理，其中实体表示可以被认为是关系规则的表示。

3.3 Model Architecture

图2展示了我们提出的RUN-GNN方法的总体结构。RUN-GNN遵循编码器-解码器结构。编码器包括串联连接的探测模块和缓冲模块。 exploration module and a buffer module connected in series.

探索模块的主要目标是探索更多的候选答案实体，并为它们生成关系规则的实体表示。作为后一个组件的缓冲模块的作用是将变化的关系规则信息及时更新到相关实体。解码器是一个线性层，提供带有分数的候选答案实体。

3.4 Query Related Fusion Gate Unit 

查询相关融合门单元(query related fusion gate unit, QRFGU)是GRU的一种变体(Chung et al .， 2014)，旨在有效地建模关系规则的属性，特别是确保关系组成的顺序性。QRFGU将关系消息表示集成到实体的规则表示中，得到一个新的查询相关的关系规则表示∈rd，其中d表示嵌入维度的大小。

QRFGU的结构如图3所示。QRFGU可表示为:

其中为查询关系表示。QRFGU首先基于计算遗忘门和更新门。然后，QRFGU基于计算候选隐藏状态，然后将和结合得出融合状态。QRFGU的详细计算过程如下:

3.5 Enhancing Relational Rules Using Query Related Fusion Gate Unit

在RUN-GNN中，探索模块由n个gate - Graph Attention network (G-GAT)层组成，其中第i层G-GAT层以查询头实体为中心，在第i跳子图中传播关系信息，将这些子图中的实体作为候选回答实体，并生成相应的关系规则实体表示。

为了更好地处理关系组合的顺序性，G-GAT层利用QRFGU融合每个三元组(s, r,o)的头部实体和关系的表示，并生成相应候选关系规则消息的表示。的计算形式如下:

 

之后，为了进一步保留有价值的现有关系规则，RUN-GNN利用QRFGU来控制实体表示的更新。第G-GAT层计算中任何实体的表示为:

值得强调的是，探索模块通过将所有实体表示初始化为零向量开始。

3.6 Enhancing Relational Rules Using Buffering Update Mechanism

候选答案实体表示的生成是探索模块的一个关键特性。然而，由于实体信息传播滞后，关系规则信息编码不完整是一个挑战。一个可能的解决方案是在勘探模块中增加G-GAT层的数量。然而，这种方法可能导致在推理过程中产生更大的子图，从而导致更高的资源消耗和更多的候选答案实体。此外，新的候选答案实体仍然容易受到滞后实体信息传播的影响。

在这项工作中，我们提出了一种简单而优雅的缓冲更新机制，可以在相对较低的资源消耗下缓解实体信息传播滞后的问题，并显着提高模型在答案实体较远的查询中的性能。具体来说，我们在探索模块之后增加了一个缓冲模块，该模块由m个G-GAT层组成，每个层在相同的子图上传播信息。缓冲区模块充当缓冲区，允许候选答案实体等待保留在依赖实体中的重要关系规则信息。这确保在继续解码之前，所有候选答案实体都有足够的关系规则信息。

3.7 Model Prediction and Optimization

每个实体的分数是基于包含适当关系规则的表示来计算的。实体的得分由

如果RUN-GNN中的实体最终没有从编码器获得表示，则会被赋0分。

链路预测任务可以看作是一个多标签分类问题。为了优化模型的参数，我们使用了multi-class logloss (Lacroix等，2018;Zhang and Yao, 2022)，即。

4 Experiments

为了证明RUN-GNN的有效性，我们在多个基准数据集上进行了许多在感应和转导任务下的KG链路预测实验。

4.1 Transductive Experiments

4.1.1 Datasets and Baselines

我们使用了四个常用的公共数据集进行实验，包括WN18RR (Dettmers等，2018)、FB15k-237 (Toutanova和Chen, 2015)、NELL-995 (Xiong等，2017)和YAGO3-10 (Chami等，2020)。这些数据集的详细信息可在附录B.1中找到。

为了验证我们方法的有效性，我们将RUN-GNN与各种类型的KG链路预测方法进行了比较，包括基于三重信息的方法ConvE (Dettmers等人，2018)、HousE (Li等人，2022)、HAKE (Zhang等人，2020)和RotatE (Sun等人，2018);基于路径信息的方法MINERVA (Das等，2018)、DRUM (Sadeghian等，2019)、CURL (Zhang等，2022)和RNNLogic (Qu等，2020);基于正常gnn的方法CompGCN (Vashishth et al .， 2019);现有基于prgnn的方法RED-GNN (Zhang and Yao, 2022)和nbbfnet (Zhu et, 2021)。对于大多数基线方法，实验结果来源于相关的已发表论文和(Zhang and Yao, 2022)。由于RED-GNN的评估方法存在问题，我们使用论文中发表的代码和超参数重新评估了该方法的性能(Zhang和Yao, 2022)。我们还使用公开可用的代码和超参数评估了CURL、RNNLogic、CompGCN、RED-GNN和nbbfnet在YAGO3-10上的性能。

4.1.2 Detailed Settings

为了评估我们提出的方法的性能，我们利用过滤后的平均倒数秩(MRR)， Hit@1和Hit@10指标。我们的方法是使用PyTorch (Paszke等人，2019)和PyG (Fey和Lenssen, 2019)实现的为了训练模型，我们使用了四个NVIDIA RTX A4000 gpu进行80次epoch。基于每个验证集上的MRR度量来选择模型的最佳性能。关于换向实验设置的更多细节，包括实验超参数、训练时间、模型参数数量等，可以在附录B.2中找到。

4.1.3 Results and Discussion

表1给出了不同方法的实验结果。我们的RUN-GNN模型在所有数据集上显著优于基于三重和路径信息的基线。与其他基于prgnn的方法相比，RUNGNN还实现了显著的性能改进。例如，RUN-GNN在WN18RR数据集上的MRR指标比nbbfnet提高了6.35%。结果表明，该方法具有目前最强大的推理能力。

我们提出的RUN-GNN方法与nbbfnet和REDGNN等其他方法一起使用PRGNN推理模式，这使得RUN-GNN比传统推理方法具有显着优势。与ConvE、RotatE和MINERVA相比，RUN-GNN可以在KG中利用更多的图结构信息。此外，与DRUM和RNNLogic等基于规则的方法不同，RUN-GNN可以灵活地隐式地使用复杂规则进行链路预测。

与nbnet和REDGNN相比，我们提出的RUN-GNN方法将PRGNN的推理能力归因于学习关系规则，并采用了两种有效的策略来解决影响PRGNN推理能力的关键特性:顺序关系组成和滞后实体信息传播。这些策略增强了RUN-GNN编码关系规则的能力，并使其比类似方法具有明显的优势。

4.2 Inductive Experiments

我们进行归纳实验来评估方法对看不见的实体的推理能力。

4.2.1 Datasets and Baselines

我们选择了8个基于WN18RR和FB15k-237的广泛使用的归纳数据集(Zhang and Yao, 2022;Teru et al, 2020)。

在这项工作中，我们将RUN-GNN与其他几种具有归纳链路预测能力的方法进行了比较，包括Neural LP (Yang等人，2017)、DRUM (Sadeghian等人，2019)、GraIL (Teru等人，2020)、RED-GNN (Zhang和Yao, 2022)、nbbfnet (Zhu等人，2021)。其中，NeuralLP、DRUM、GraIL的实验结果来源于论文(Zhang and Yao, 2022)。我们使用他们论文中发表的代码和超参数重新评估了REDGNN和nbbfnet的实验结果(Zhang和Yao, 2022;Zhu et al .， 2021)，原因是实验设置存在问题。

我们使用过滤的MRR度量来评估方法的性能。我们根据每个相关验证集的MRR度量来选择最佳性能。详细设置请参见附录B.5。

4.2.2 Results and Discussion

根据表2的结果，我们的模型RUN-GNN在WN18RR和FB15k-237两个子数据集上都表现良好。NeuralLP和DRUM使用挖掘的类链规则来预测知识，因此能够取得很好的效果。GraIL对三元组的头尾实体之间的子图进行采样，挖掘结构和关系信息进行推理，但不能有效地使用中间关系规则。基于prgnn的方法，如RED-GNN和nbbfnet，能够将复杂的关系规则编码为实体表示，因此表现良好。RUN-GNN利用QRFGU以更高的精度对更复杂的规则进行编码，这增强了模型利用关系规则的能力，并带来了更好的性能。

4.3 Analysis

我们在本节中进行了几个实验来验证我们提出的方法的有效性。在随后的实验中，我们只使用换能器设置，因为它是最常用的实验设置(Vashishth等人，2019;Yang等，2015;Bordes et al, 2013)。所有方法都使用WN18RR数据集进行测试，n设为5,m设为3,d设为64。

4.3.1 Ablation Study

我们设计了RUN-GNN的几个变体来评估每个组件的影响。表3给出了实验结果。从表中可以看出，使用乘法或加法融合实体和关系表示的变体w/乘法和变体w/加法的性能比RUN-GNN差，这表明QRFGU是编码关系规则的有效组件。此外，不使用缓冲更新机制的变体w/o缓冲区的性能也比RUN-GNN差，这说明了缓冲区模块如何改进实体表示和链接预测。

4.3.2 Does Buffer Update Mechanism Solve Lagged Entity Propagation?

为了评估所提出的缓冲更新机制在缓解滞后实体传播负面影响方面的有效性，我们根据查询三元组的头到尾实体的最短路径长度对测试集进行分类，改变超参数m和n来评估RUN-GNN的链路预测性能。表4中的结果表明，增加m的值可以持续提高模型的推理性能，特别是对于具有较长推理路径的三元组。这证明了我们提出的方法在减轻滞后实体信息传播的负面影响方面的有效性。此外，结果还表明，模型勘探模块中G-GAT层的数量对性能有显著影响。

4.3.3 Does Query Related Fusion Gate Unit Deal Well with Sequentiality of Relation Composition?

我们设计了一个实验来验证QRFGU编码关系组合序列的有效性。

首先，我们从WN18RR数据集中选择了大量常见的关系路径，并对这些路径中的关系顺序进行了反转，得到了一组反转的关系路径。然后使用原始RUNGNN(表示为w/ QRFGU)和使用元素智能加法的变体作为MESSAGE函数(表示为w/o QRFGU)分别对这些关系路径进行编码。这导致了四组表示。我们将这些表示映射到二维空间，并在图4中使用不同颜色的点绘制表示。我们还使用彩色线将反向关系路径的表示与它们对应的原始关系路径连接起来。

在图4中，没有明显的橙色线，说明w/o QRFGU变体生成的同一关系的不同顺序组合的表示非常接近。该模型不能捕获组合关系的顺序性，也不能区分这些表示。另一方面，图4中有清晰的绿线，说明RUN-GNN (w/ QRFGU)生成的表示有显著差异。该模型成功地捕获了组合关系的顺序，并能够区分这些表示。

4.4 The Time Complexity Analysis

5 Conclusion

本文将PRGNN的推理能力归因于对关系规则的学习，并指出了现有方法存在的两个问题。首先，我们发现了忽略关系组合的顺序性，导致模型与不同的关系规则混淆的问题。为了解决这个问题，我们提出了QRFGU。此外，我们还确定了滞后的实体信息传播问题，这可能导致错误的规则学习。引入了缓冲更新机制来缓解这个问题。然后，我们将这两种关系规则增强策略结合起来提出RUN-GNN，该策略在知识图链接预测任务上达到了最先进的性能。在未来，我们计划研究更有效的基于PRGNN的链路预测方法，以提高其实用性。

Limitations

本研究可能存在一些局限性

(1)根据Zhang和Yao(2022)的工作，PRGNN推理模式后接RUN-GNN的时间复杂度高于常规方法。因此，RUN-GNN的计算资源消耗也高于这些常规方法。特别是，使用QRFGU和缓冲更新机制可能会增加模型推理过程中的计算成本。由于QRFGU本质上是一个小的神经网络，而不是一个无参数的加法或乘法运算，使用这种方法可能会增加计算成本。此外，缓冲更新机制通过使用GNN导致额外的计算，这也可能导致计算成本的增加。关于时间复杂度的更多细节可以在附录D中找到。

尽管存在这些限制，RUN-GNN是一种归纳推理方法，与传统方法不同，当添加新实体或知识图中的事实发生变化时，它不需要大量资源来重新训练模型。此外，我们认为在训练后对模型进行修剪以减少候选实体的数量是未来潜在的研究方向，以提高模型推理的效率和减少资源消耗。

(2)我们的方法可能难以对头尾实体相距很远的查询三元组进行推理。由于RUN-GNN只能考虑查询头实体的n跳邻居作为候选答案实体，其他实体将被认为不太可能是正确的答案实体。将勘探模块中的G-GAT层数增加n可以改善这一点，但这将带来计算资源需求的急剧增加，并且4.3.2节也表明这样做的效果可能很差。因此，对于答案实体远离查询头实体的三元组，很难提供正确的推理。

我们认为这个问题可以通过允许模型有条件地选择候选答案实体来解决，这可以减少答案搜索空间，提高模型学习更长的关系规则的能力。

附录

A Complete Algorithm for the Encoder of RUN-GNN

B Experiment Details

B.1 Transductive Datasets Statistics

B.2 Transductive Experiment Detailed Settings

B.3 Extra Transductive Experiment results

B.4 Inductive Datasets Statistics

B.5 Inductive Experiment Detailed Settings

C The Influence of Information Propagation Range in PRGNN

基于prgnn的方法的性能高度依赖于GNN层可以传播信息的子图的最大大小。这个大小由RUN-GNN的探测模块中G-GAT层的个数n决定。在本节中，我们通过改变最大子图大小来评估基于prgnn的方法的性能。

图5说明，当用于推理的最大子图大小大于4跳时，我们提出的RUNGNN模型实现了最佳性能。这个结果表明我们的方法在编码和利用长关系路径方面特别有效。此外，RUN-GNN相对于RED-GNN的优势并不会随着子图大小的增加而显著降低。这一发现表明，我们提出的利用缓冲更新机制来增强关系规则的策略不能被简单地增加勘探模块中G-GAT层的数量所取代。

D The Detailed Time Complexity Analysis

D.1 Theoretical Analysis

D.2 Time Measurement and Empirical Analysis

如表9所示，当探测模块中的GNN层数为5时，NBF-Net在1 epoch的训练时间要高得多，因为它直接在整个KG上执行消息传递。

当缓冲模块中GNN层数为0时，即不使用缓冲区更新机制时，该模型的性能已经超过了勘探模块中有5层GNN的REDGNN和NBF-Net。RUN-GNN的性能甚至接近具有8个GNN层的REDGNN，后者的训练时间是前者的8倍。

当缓冲模块中GNN层数为0时，即不使用缓冲区更新机制时，该模型的性能已经超过了勘探模块中有5层GNN的REDGNN和NBF-Net。RUN-GNN的性能甚至接近具有8个GNN层的REDGNN，后者的训练时间是前者的8倍。

E Case Study

除了提高性能外，我们的方法RUN-GNN还提供了出色的可解释性。为了说明这一点，我们按照论文中概述的方法(Zhang和Yao, 2022)，可视化了在对家族数据集的三个查询的推理过程中使用的r-有向图。图6展示了我们的方法在推理过程中发现的证据，这些证据似乎是合乎逻辑的，并支持我们的方法可以成功学习关键关系规则的概念。这种可视化进一步增强了我们方法的可解释性和可靠性。