论文阅读 Learning Knowledge Graph Embedding With Heterogeneous Relation Attention Networks

Learning Knowledge Graph Embedding With Heterogeneous Relation Attention Networks

基于异构关系注意网络的学习知识图嵌入

发表于：IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS 2021
摘要：知识图谱（KG）嵌入的目的是研究知识图的嵌入表示，以保持知识图的固有结构。图神经网络(GNNs)作为一种有效的图表示技术，在学习图嵌入方面表现出了令人印象深刻的性能。然而，KGs具有异质性的内在属性，它包含各种类型的实体和关系。如何处理复杂的图数据并同时聚合多种类型的语义信息是一个关键问题。本文提出了一种基于注意机制的异构GNNs框架。具体来说，实体的邻居特性首先在每个关系路径下聚合。然后通过关系特征学习不同关系路径的重要性。最后，将每个基于关系路径的特征与学习到的权值进行聚合，生成嵌入表示。因此，该方法不仅聚合了不同语义方面的实体特征，而且还为它们分配了合适的权重。该方法可以捕获各种类型的语义信息，并有选择地聚合信息特征。在三种真实KGs上的实验结果表明，与几种最先进的方法相比，该方法具有更好的性能。

知识图谱的异质性：不同类型的实体具有不同的属性，它们的特征可能属于不同的嵌入空间。仍然以图1(a)为例，球员的节点通过不同的关系涉及不同的实体属性，包括职业、国家、俱乐部、队友。与此同时，国家的节点也在玩家和俱乐部中。因此，处理如此复杂的结构图数据并同时保留多个特征信息是一个迫切的问题。
关系的重要性：
KGs的异质性通常通过关系路径反映出来，它展示了涉及不同三元组的复杂语义特征。此外,它可以通过不同的关系路径聚合不同的语义特征。如何融合这些语义特征，选择最有意义的关系路径是一个关键问题。例如，如图所示。1 (b)，player可以通过(player,nationality_of,country)连接国家或通过(player,play_for,club)连接俱乐部。然而，可以观察到，nationality_of或play_for关系一般起着不同的重要作用。将不同的关系路径同等对待是不现实的，这将削弱由一些重要关系路径聚合的语义特征。因此，我们应该了解每个关系路径的重要性，并为它们分配适当的权重。
聚合的影响：
这些实体通过聚合器函数融合每个关系路径的邻居特征，聚合器函数是GNN体系结构的关键组件。与基于欧氏空间(图像、句子、视频)的深度学习不同，图结构数据通常没有规则的序列。因此，聚合器函数应该遍历一组无序的特征向量。同时，在神经网络训练过程中，它需要具有可训练性，并保持较高的计算效率。许多有效的聚合器函数，我们需要研究由不同聚合器函数组成的GNN体系结构对性能的影响。
在上述分析的基础上，我们提出了一种新的异构关系注意网络框架（Heterogeneous Relation Attention Networks）HRAN。该框架通过注意机制考虑了关系的重要性，并考察了三种不同的聚合器功能。特别是，为了处理各种类型的实体，它首先融合每个基于关系路径的实体的特征，这些特征可以表示一种类型的语义信息。然后通过不同的关系路径将具有不同语义信息的特征聚合到实体中。此外，利用注意机制获得不同关系路径的权值。基于学习到的每个关系路径的注意值，我们的方法可以在一个层次结构中聚合合适的邻居特征组合。因此，聚合的实体特征可以有效地处理异构知识库中丰富的语义信息和复杂的结构。
本文的主要贡献如下。

1. 提出了一种新的端到端异构关系注意网络(HRAN)框架。具体来说，HRAN通过关系路径融合每种特定于语义的信息。它能分层聚合相邻特征，同时保留不同的特征信息。我们的工作使GNN直接应用于异构KGs，并进一步方便后续的链路预测任务。
2. 注意机制被用来学习每个关系路径的重要性。基于学习到的注意值，该方法可以选择性地聚合信息特征，抑制无用的信息特征。此外，HRAN采用了三种有效的聚合函数来降低方差和计算复杂度，可应用于大规模异构图。
3. 大量的实验对所提方法的性能进行了评估。通过与现有方法的比较，证明了HRAN的优越性。更重要的是，通过分析注意机制的影响，提出的HRAN证明了其对实验结果的潜在优势。
   图卷积:
   本文利用图卷积聚合节点特征，并以端到端方式生成链路预测任务的嵌入。设H(l)表示GNN中第l层节点特征矩阵，正向传播可表示为
   
   f是激活函数。~ A=(A+I)表示G的邻接矩阵，其中包含自连接。~ D表示对应于A的度矩阵，W是用于特定层的权值矩阵，对于含非对称邻接矩阵的有向图，~ A可以用逆对角矩阵~D^-1归一化为
   
   可以看出，上述卷积运算被提出用于处理齐次图结构数据。由于关系和基于关系路径的实体是KGs中的两个基本元素，因此需要一种新的异构图数据GNN框架来捕捉它们的内在差异。
   

实体级聚合:
图2给出了HRAN的总体框架。由于KGs的异质性，不同类型的实体可能会出现在不同的特征空间中。直接聚合每个实体的所有邻居特征是不合适的。因此，提出了实体级聚合方法，首先聚合各个基于关系路径的实体特征。
分别以h⁰_e和r⁰_r为初始实体和关系特征，首先，我们融合各个基于关系路径的实体特征，并给出聚合方程为

其中N^r_(e)表示一组基于关系路径的实体。符号h^(l−1)_i和h^(l−1)_N分别是(l-1)层中基于关系路径r的第i个实体和聚合特征。在本文中，实体级的聚合器函数Φ_agg后面是GCN。因此，(4)可以重写为

其中h^(l−1)_i为每个关系路径r的邻居节点特征。这些特征被加在一起，并被归一化项N^r_(e)处理。这里|·|为集合的长度。然后从关系路径r中得到聚合的特征h^(l−1)_N。给定关系路径集{r₁,r₂，…，r~| r|~}，| R|每个实体的聚合特征组可以得到{N^r1_(e)，N^r2_(e)，…，N^r|r|_(e)}。由于聚合特征N^r_(e)是通过单一的关系路径生成的，所以它们中的每一个都是语义特定的，可以捕获一种类型的语义信息。
关系聚合：
在关系级聚合部分中，通过与实体相关的关系路径聚合各种类型的语义信息。由于语义库的异构性，实体所反映的语义信息有多种类型。每个特定于语义的聚合特性只能从一个方面捕获信息。为了聚合更全面的语义信息，需要通过不同的关系路径揭示多个特性。而且，同等对待每个关系路径会削弱由重要关系路径聚合的语义特征。为了解决这些问题，我们提出了一种新的基于关系的注意机制来获取不同关系路径的重要性，然后利用它来聚合各种类型的语义信息。
为了解不同关系路径的重要性，以实体级聚合特征|R|组为输入，得到每个关系路径{r1,r2，…，r| r|}表示为:

其中：

其中Φ_att表示注意力机制。它可以捕获基于关系的重要性，并利用它选择性地聚合异构KG背后的信息特性。
为了了解每个关系路径的权值，首先利用非线性变换(如单层MLP)对关系特有的特征r^(l−1)_r进行变换。然后通过注意向量q度量关系特征的重要性，通过激活函数得到最终的α^(l−1)_r。流程如下:

其中W为变换权矩阵，b为偏置向量，q为注意向量，σ为sigmoid函数。特别是，上述参数独立于实体或关系特征。显然，α^(l−1)_r学习得越高，关系越重要。
在获得各关系路径的重要性后，可以将学习到的α^(l−1)_r作为系数对各基于关系路径的聚合特征进行加权。然后，将所有基于关系路径的聚合邻居特征进行连接融合，得到每个实体的最终聚合邻居特征，如下所示:

其中CONCAT表示连接操作，agg是聚合器函数。由于在方法训练时，聚合过程应该是可训练的，并保持较高的计算效率，因此提出了mean/max/sum的三种有效方法:

符号d表示d维特征。求和聚合器近似于GCN框架中使用的聚合器函数。均值聚合器和最大聚合器的设计灵感来自于cnn中的池化方法。然后通过非线性变换更新图的卷积传播为

式中，W^(l)_e和W^(l)_r分别为实体特定的连接系数矩阵和关系特定的连接系数矩阵，f为整流线性单元(ReLU)。但是，可以看到所有的相邻特征在h^(l - 1)^ _N(e)中被融合，而实体特征h^(l - 1)^_e本身没有被融合。因此，需要在卷积传播中加入自环。此外，为了使该方法更加灵活，引入了超参数β，即自注意值。则(11)可重新定义为:

符号β决定了自循环中实体特征本身的保留率。最后，将最后一层中的每个实体特征h^(L)_e和关系特征r^(L)_r连接起来，得到嵌入矩阵。它可以定义为

与以往基于gcn的方法相比，本文提出的实体级聚合和关系级聚合可以通过不同的关系路径从不同的语义层面聚合实体特征。利用注意机制，根据重要的关系路径选择性地聚合信息特征。整个过程在算法1中显示

模型的末尾使用了ConvD作为解码器用于链接预测任务，loss函数为：

其中T’为负采样。下列为链接预测的结果对比：

个人总结：这个模型通过一种GNN的变形对知识图谱的每个节点进行聚合后再进行链接预测，但其中对于attention的运用还是有些疑惑，对attention的运用方法怎么和一个普通的tanh层一样。而且此模型每一次训练都要调整整个知识图谱节点和关系的特征，时间复杂度应该不低。