Learning Rule-Induced Subgraph Representations forInductive Relation Prediction

摘要

归纳关系预测(IRP)——在训练和推理过程中实体可以是不同的——在完成不断发展的知识图谱方面显示出强大的能力。现有的工作主要集中在使用图神经网络(gnn)来学习从目标链路诱导出的子图的表示，这可以看作是一个隐式的规则挖掘过程来衡量目标链路的合理性。然而，这些方法在消息传递过程中无法区分目标链路和其他链路，因此最终的子图表示将包含与目标链路无关的规则信息，这降低了推理性能，严重阻碍了实际场景的应用。为了解决这个问题，我们提出了一种新的单源边缘GNN模型来学习规则诱导子图表示(REST)，该模型编码子图中的相关规则并消除子图中的不相关规则。具体而言，我们提出了一种单源初始化方法，仅针对目标链路初始化边缘特征，从而保证了挖掘规则与目标链路的相关性。然后，我们提出了几个基于rnn的边缘消息传递函数来建模挖掘规则的顺序属性。REST是一种简单有效的学习规则诱导子图表示的理论支持方法。此外，REST不需要节点标记，显著加快了子图预处理时间，最高可达11.66倍。在归纳关系预测基准上的实验证明了REST2的有效性。

1.介绍

知识图谱是关于人类知识的事实三元组的集合。近年来，知识图谱在自然语言处理[1]、问答[2]、推荐系统[3]等多个领域得到了成功的应用。

然而，由于隐私问题或数据收集成本等问题，许多现实世界的知识图谱远未完成。此外，随着新的实体或三元组的出现，知识图谱也在不断发展。这种动态变化导致即使是Freebase b[4]、Wikidata[5]、YAGO3[6]等大型知识图谱，仍然存在不完备的问题。大多数现有的知识图补全模型，如RotatE [7]， R-GCN[8]，在处理新出现的实体时都存在问题，因为它们需要在训练时间内观察测试实体。因此，旨在预测不断发展的知识图谱中缺失环节的归纳关系预测受到了广泛关注[9,10]。

知识图上归纳关系预测的关键思想是学习逻辑规则，逻辑规则可以以独立于实体的方式捕获关系之间的共现模式，从而可以自然地推广到看不见的实体[11,12]。现有的一些模型，如AMIE+[13]、Neural LP[14]等，明确挖掘归纳关系预测的逻辑规则，具有良好的可解释性[14]，但由于搜索空间大、优化离散化，性能受到限制[15,16]。近年来，人们提出了一些基于子图的方法，如GraIL[11]、TACT[12]、CoMPILE[17]等，通过对目标链接产生的子图进行推理来隐式挖掘逻辑规则。

然而，在子图中仍然有一些不相关的规则[18]。将规则主体和规则头部看作一个循环[19]，相关规则就是通过目标链接的循环。如图1所示，u→v→e4→u和u→v→e2→e1→u是相关规则，因为它们经过目标链接，而e1→e3→e2→e1是不相关规则，因为它们不包含目标链接。现有方法无法在消息传递过程中区分目标链接和其他链接。因此，他们会挖掘大量不相关的规则并将其编码到最终的子图表示中，这使得模型容易过度拟合，严重阻碍了推理性能。

在本文中，我们提出了一种新的单源边缘GNN模型来学习规则诱导子图表示(REST)，该模型编码子图中的相关规则并消除子图中的不相关规则。具体地说，我们观察到信息流从一个独特的边缘开始并返回到该边缘将自动形成一个循环。因此，来自目标链路的信息流可以对相关的逻辑规则进行编码。受此启发，我们提出了一种单源初始化方法，根据目标链接的关系为其分配非零初始嵌入，并为其他链接分配零嵌入。然后，我们提出了几个基于rnn的边缘消息传递函数来建模挖掘规则的顺序属性。最后，我们使用目标链接的表示作为最终的子图表示。

从理论上证明，REST可以通过适当的消息传递函数来学习规则诱导的子图表示进行推理。值得注意的是，REST避免了子图预处理中节点标注的繁重负担，显著加快了子图预处理时间，最高可达11.66倍。在归纳关系预测基准上的实验证明了我们的REST的有效性。

2.Related Work

现有的IRP研究主要分为基于规则的方法和基于子图的方法。基于规则的方法显式地学习知识图中的逻辑规则，而基于子图的方法通过学习子图的表示来隐式地挖掘逻辑规则。此外，我们还讨论了一些对整个图进行推理的图神经网络方法。

基于规则的方法。基于规则的方法挖掘独立于实体的逻辑规则，并描述关系的共现模式，以预测缺失的事实三元组。这种规则由头部和身体组成，其中头部是单个原子，即关系形式的事实(头部实体，尾部实体)，而身体是一组原子。给定一个头R(y, x)和一个身体{B1, B2，···，Bn}，存在一条规则R(y, x)←B1∧B2∧···∧Bn。基于规则的方法在归纳逻辑规划领域已经研究了很长时间，但传统的方法面临着优化和可扩展性的挑战。最近，Neural LP[14]提出了一个端到端可微框架，使现代基于梯度的优化技术能够学习逻辑规则的结构和参数。DRUM[21]从低秩张量近似的角度分析Neural LP，使用双向rnn挖掘更准确的规则。此外，对于从大型知识图中自动学习规则，RLvLR[22]提出了一种有效的规则搜索和修剪策略，在链接预测的可扩展性和准确性方面都显示出良好的效果。然而，这些显式的基于规则的方法由于其基于规则的性质而缺乏表达能力，也无法扩展到大型知识图。

Subgraph-based方法。基于子图的方法提取目标链路周围的局部子图，并使用gnn学习子图表示来预测链路是否存在。这种子图通常是由目标链路的邻居节点产生的，这些邻居节点编码了与目标链路相关的规则。GraIL[11]是第一个基于子图的归纳关系预测模型。它将封闭子图定义为两个目标节点之间的路径中所有节点所诱导的图。在用双半径顶点标记[23]标记所有节点后，使用R-GCNs[8]学习子图表示。 CoMPILE[17]提取有向封闭子图来处理目标链接的非对称/反对称模式。TACT[12]将原始封闭子图转换为关系关联图，并提出了关系关联网络来建模关系之间不同的关联模式。最近，SNRI[24]提取具有完全相邻关系的封闭子图，以考虑相邻关系进行推理。ConGLR[25]将原始封闭子图转换为上下文图，以建模关系路径。但是，在消息传递过程中，这些方法无法区分目标链接和其他链接。因此，gnn会挖掘出大量其他链路的不相关规则，并将其编码为子图表示，这降低了推理的准确性。

用于链路预测的图神经网络。有些方法使用gnn对整个图进行推理，而不是对子图进行归纳关系预测。INDIGO[26]将KG转换为带节点注释的图，并将其完全编码为GNN。NBFNet[27]对Bellman-Ford算法进行了推广，提出了一种通用的GNN框架来学习用于链路预测的路径表示。MorsE[28]考虑用gnn传递实体无关的元知识。虽然这些方法与基于子图的方法有一些共同点，但它们与基于子图的方法在本质上是不同的。这些方法需要对测试示例的整个图进行推理，而基于子图的方法只需要对子图进行推理。同时，这些方法倾向于预测查询的实体而不是关系，而基于子图的方法倾向于预测关系，因为子图只需要提取一次就可以进行关系预测。由于这些方法受益于大量的负抽样，我们不将它们进行比较。

3.Problem Definition

4 Methodology

在本节中，我们将详细描述所建议的REST的体系结构。遵循现有的基于子图的方法，我们首先为每个查询三元组提取子图。然后应用单源初始化和逐边消息传递迭代更新边缘特征。最后，目标链接的表示用于评分。REST将这两个方法组织在一个统一的框架中，以执行归纳关系预测。图2给出了REST的概述。

图2:REST的概述。REST将单源初始化方法和沿边消息传递方法组织在一个统一的框架中，以学习目标链接子图中的相关规则表示。不同的相关规则在第3部分以不同的颜色表示。 

4.1 Subgraph Extraction

对于一个查询三元组(u, rt,v)，它周围的子图包含了推断该查询的逻辑规则，因此我们提取一个局部子图来隐式学习推理的逻辑规则。具体来说，我们首先计算目标节点u和v的k-hop邻居Nk(u)和Nk(v)，然后定义enclosing subgraph封闭子图为Nk(u)∩Nk(v)诱导的图，开合子图unclosing subgraph为Nk(u)∩Nk(v)诱导的图。注意，我们的REST的子图提取过程省略了节点标记，因为节点特征在沿边消息传递中是不必要的，这大大减少了子图预处理的时间成本。

4.2 Single-source Initialization

单源初始化是一种简单有效的初始化方法，它根据rt初始化查询三元组的非零嵌入，对其他三元组初始化零嵌入。具体来说，内的链路和节点的嵌入初始化如下:

其中分别是边(x, y,z)和节点v的初始表示。是区分目标环节和其他环节的指标功能。⊙是Hadamard product。注意，节点的表示被用作沿边消息传递中的临时变量 edge-wise message passing。通过这种初始化方法，我们可以确保挖掘的规则与目标链接之间的相关性。

4.3 Edge-wise Message Passing

初始化所有边和节点后，执行逐边消息传递，将所有相关规则编码到最终子图表示中。具体来说，每次逐边消息传递的迭代包括三个部分，(1)将消息函数应用于每条链路，(2)通过聚合消息更新节点特征，(3)通过临时节点特征更新边缘特征，具体描述如下:

这里，是二元运算符binary operators，表示要参数化的函数。表示⊕的大尺寸运算符。分别表示节点z和链路(x, y,z)沿边传递k次迭代后的特征。我们在图3中可视化了GraIL[11]开发的传统消息传递框架与提议的边缘消息传递框架之间的比较。

图3:GraIL[11]开发的传统消息传递框架与我们的REST之间的比较。首先，REST使用单源初始化初始化节点和边缘特征。然后，REST使用UPDATE函数更新边缘特征。最后，REST直接使用目标链接的嵌入作为最终的子图表示，而不是所有节点嵌入的池化。

4.4 RNN-based Functions

现有作品中的消息传递函数使用了ADD、MUL等与顺序无关的二进制运算符，无法对规则的顺序属性进行建模，导致规则错误[21]。为了解决这个问题，我们引入了几种基于rnn的方法作为消息传递函数。

Message Functions.

对于沿边消息传递过程，每次迭代REST接收以形成消息。我们将GRU[29]修改为message函数如下:

这里，是更新门向量update gate vector，是复位门向量 reset gate vector，是候选激活向量candidate activation vector。算子⊙表示Hadamard积，表示Sigmoid激活函数，表示Tanh激活函数。在每次消息传递迭代中，我们只使用一次GRU，因此k层消息传递包含k个GRU，可以对长度为l≤k的序列进行建模。

Aggregate Functions.

聚合函数从相邻的边聚合每个节点的消息。在这里，我们使用简化的PNA[30]来考虑不同类型的聚合。

在这里表示向量的拼接，表示第k层的线性变换矩阵 。

Update Functions.

更新功能用于更新边缘特征。我们建议用LSTM[31]来更新边缘特征。具体来说，LSTM需要三个输入:一个隐藏向量，一个当前输入向量和一个单元向量a hidden vector, a current input vector and a cell vector。我们用作为隐藏向量作为当前输入向量。此外，我们期望在消息传递过程中，每条边都能区分目标链路，这就要求每条边指定查询信息。因此，我们用另一个查询特征作为单元向量cell vector初始化每条边。所有的边都用与查询关系r相关的相同的查询嵌入初始化：

那么更新功能的描述如下:

在对沿边消息传递进行k次迭代更新边缘特征后，我们输出作为子图表示。然后利用线性变换和激活函数得到目标链路的分数 

5.Analysis

在本节中，我们从理论上分析REST的有效性。我们首先定义了规则诱导子图表示，它利用编码的相关规则来推断目标链接的合理性。然后我们展示了我们的REST能够学习这样一个规则诱导的子图表示进行推理

5.1 Rule-induced Subgraph Representation Formulation

我们的规则诱导子图表示旨在将所有相关规则编码到子图表示中进行推理。因此，我们可以将规则诱导子图表示定义为这些相关规则的集合:

其中表示中所有可能相关规则的集合，是相关规则的表示。遵循Neural LP[14]将规则中的每个关系与权重关联的思想，我们将规则的表示建模为其关系集的函数。因此，我们给出了规则诱导子图表示的定义。

Definition 1 (Rule-induced subgraph representation.)

注意⊕和⊗表示二元聚合函数。直观地，规则诱导子图表示捕获子图中的所有相关规则，并且具有足够的表达能力进行推理。

5.2 Rule-induced Subgraph Representation Learning

在这里，我们展示了我们的REST可以学习这样一个规则诱导的子图表示。首先，我们用一个简单的例子来说明这一点。

我们在附录a中证明了这一点。这个定理说明我们的REST可以在基本条件下学习规则诱导子图表示。然后我们把这个定理推广到一般的形式。

我们在附录a中证明了这一点。直观地，我们可以用来得到这个定理。学习规则诱导子图表示的关键步骤是确保当且仅当。现有模型[11,12]不满足这一要求，因为它们初始化了目标链接和其他非零嵌入的链接。因此，它们的最终子图表示包含不相关的规则项，从而导致次优结果。相反，我们证明了通过适当的消息传递函数，REST可以学习规则诱导的子图表示。由于规则诱导的子图表示编码了子图中所有相关的规则，REST的表达能力足以推断出任何合理的三元组的合理性，同时它消除了不相关规则的负面影响。

我们的分析为IRP方法提供了一些见解。首先，消除提取子图中的噪声对于基于子图的方法至关重要。虽然现有的方法集中在数据级提取特设子图，但我们的模型提出了一种简单的方法在模型级去噪，即单源沿边消息传递。其次，单源初始化等标注技巧可以有效提高模型性能。最后但并非最不重要的是，学习链接的想法在IRP任务中尤为重要，因为链接在推理中起着至关重要的作用。

6 Experiments

在本节中，我们首先介绍实验设置，包括数据集和实现细节。然后我们展示了REST在几个基准数据集上的主要结果。最后，我们进行消融研究，案例研究和进一步的实验。

6.1 Experiment Setup

我们在GraIL[11]提出的三个归纳基准数据集上进行实验，它们分别来源于WN18RR[32]、FB15K-237[33]和NELL995[34]。对于归纳关系预测，训练集和测试集应该没有重叠的实体。附录b总结了数据集的细节。我们使用PyTorch[35]和DGL[36]来实现我们的REST。REST的实现细节总结在附录C中。

6.2 Main Results

我们遵循GraIL[11]，在50个随机抽样的阴性三元组中对每个测试三元组进行排序。我们报告基准数据集上的Hits@10指标。按照先前工作[37]中的标准程序，我们使用过滤设置，该设置在排序时不考虑任何现有的有效三元组。我们通过比较基于规则的方法(包括Neural LP[14]、DRUM[21]和RuleN[38])和基于子图的方法(包括GraIL[11]、CoMPILE[17]、TACT[12]、SNRI[24]和ConGLR[25])的性能，证明了所提出的REST的有效性。我们用不同的随机种子运行每个实验五次，并报告表1中的平均结果。

从表1中的Hits@10结果中，我们观察到我们的模型REST在3个数据集的12个版本上显著优于现有方法。具体来说，我们的REST可以大大优于基于规则的基线，包括Neural LP、DRUM和RuleN。与现有基于子图的方法(GraIL、CoMPILE、TACT、SNRI、ConGLR)相比，REST的平均改进率分别为17.89%、9.35%、13.76%;16.23%， 8.18%， 13.04%;13.58%， 8.06%， 8.96%;三个数据集上分别为10.89%，4.55%，“-”和5.58%，5.82%，5.1%。由于REST只分配目标链接的嵌入，这些改进通过提取子图中的所有相关规则来证明我们的REST的有效性。

6.3 Ablation Study

我们进行消融研究来验证所提出的单源初始化和沿边消息传递的有效性。我们在表2中显示了消融研究的主要结果。

表2:Hits@10在感应基准数据集上的消融结果。SUM和MUL函数是消息函数GRU的消融。MLP函数是更新函数LSTM的消融。∆为性能下降。

Single-source initialization。单源初始化对于学习规则诱导子图表示至关重要。为了证明单源初始化的有效性，我们执行了另一种完全初始化方法作为比较，该方法根据它们的关系初始化所有边。如表2所示，我们可以发现单源初始化对于捕获相关的推理规则非常重要。如果没有单源初始化，REST的性能会出现明显的下降，例如在nell995 v4中从92.61下降到68.26。这个结果显示了单源初始化的有效性。

Edge-wise message passing.为了证明所提出的基于rnn的函数的必要性，我们对消息函数的各种组合(包括SUM、MUL和GRU)以及更新函数(包括LSTM和MLP)进行了消融研究。这些函数定义如下:

 一般来说，REST受益于基于rnn的函数，因为它们可以捕获规则的顺序属性。使用顺序无关的二进制操作符，如ADD和MUL，会导致所有数据集的性能下降，因为它们无法区分正确和不正确的规则。

6.4 Further Experiments

我们的单源初始化和边缘消息传递方法的一个吸引人的特点是能够解释每个相关周期的意义。这种解释提供了对每个循环对目标链接(u, rt, v)的合理性的贡献的洞察。我们为每个长度不超过4的关系生成所有相关的规则循环，并将它们输入到REST模型中，以获得每个相关规则循环的分数。我们使用sigmoid函数将这些分数归一化，并选择得分最高的前3个循环，如表7所示。

结果表明，REST能够学习相关规则循环与目标关系之间的关联程度。作为预测规则头的证据，包含“_similar_to→_hypernym−1”规则主体的循环在包含“_hypernym”关系的所有循环中获得了最高分。这表明REST可以有效地推断出“_silimar_to→_hypernym−1”和“_hypernym”之间的强相关性。值得注意的是，这个周期也是人类可以理解的，这突出了REST的实际可解释性。

 Subgraph Extraction Efficiency

与上述基于子图的方法不同[11,12,17]，REST不需要在子图内标记节点，这大大提高了时间效率。我们评估了为GraIL和REST提取封闭子图和非封闭子图所涉及的时间消耗，并在表4中给出了运行时间结果。所有的实验都是在同一个CPU上进行的，只有一个进程。我们的观察表明，当从FB15k-237数据集中提取非封闭子图时，时间效率显著提高了11x以上，在所有归纳数据集上提高了6x以上。这个改进证明了我们的REST在子图提取上的效率。

7 Conclusion and Future Work 

的局限性。我们的REST与基于子图的方法具有相同的限制。虽然基于子图的方法在理论上更具表现力，但它们在训练和推理方面都会产生很高的计算成本。缓解这个问题对于可伸缩性至关重要。

结论。在本文中，我们提出了一种新的单源边缘图神经网络模型REST，该模型可以有效地挖掘子图中的相关规则进行归纳推理。REST由单源初始化和沿边消息传递组成，对于学习规则诱导子图表示具有简单、有效和可证明的特点。值得注意的是，REST将子图提取的速度提高了11.66倍，显著降低了子图提取的时间成本。实验表明，我们提出的REST在归纳关系预测基准上优于现有的最先进的方法。

未来的工作。对于未来的工作，我们的目标是增强REST的可扩展性，以便在大规模知识图上进行推理。此外，REST可以作为一个补充推理模型，帮助大型语言模型进行推理，得到有希望的和可解释的结果。希望REST能够促进推理能力的未来发展。