Relational Graph Neural Network with Hierarchical Attention for Knowledge Graph Completion

Relational Graph Neural Network with Hierarchical Attention for Knowledge Graph Completion

原文下载
AAAI2020

$摘要$

       知识图谱的迅速发展改变了各种人工智能相关应用的模式。尽管其规模比较大，现在的知识图谱仍然存在不完整、不全面的问题。为了推断出知识图谱中不完整元组的缺失值，从而着手研究知识图谱的补全。然而，现存的知识图谱补全模型对于知识图谱的元组没有利用内在的和来自实体周围的邻居的有价值的信息。为此，本文提出了一个具有层次的关系图神经网络进行知识图谱补全的任务。提出的模型RGHAT具有两层注意力机制：1）第一层为关系层的注意力机制(不同的关系对实体表示有不同的权重) 2）第二层是实体层的注意力机制(能够使模型强调同一关系下不同邻居实体的重要性)
层次注意力机制使模型更有效的使用实体的邻居信息。

RGHAT模型优势如下：
1）不同于现存的大多数的知识图谱补全模型，模型明确地采用每个实体的局部邻域信息
2）层次架构可以被看作是局部邻域信息的融合，并且将相关信息整合到一组已被证实可有效的提供更多信息及在众多机器学习问题中取得了较好的结果
3）RGHAT层注意力机制提供了一个细粒度的学习过程，增加了模型的可解释性。此外，在此设置下，相同关系的邻域元组的权重能够以共同的方式进行训练，从而使模型的结果更稳定更符合人类的直觉。

下面以一个实体和它的邻域展示层次结构的例子，如下图：

       从图左边可以看出，中心实体 $e_1$被三个邻域关系$r_1,r_2和r_3$包围，并且每一个关系连接着1个或者更多的实体。图右边为关系的层次结构。

$方法$

       此部分，讲解提出的RGHAT模型的技术细节。首先引入提出模型的全局框架。然后给出每一步的详细描述。最后给出损失函数和训练细节。
$1)概述$
       一个知识图谱可以被看作图 G = { ( h , r , t ) } ⊆ ε × R × ε \mathcal{G}=\{(h,r,t)\}\subseteq \varepsilon \times \mathcal{R} \times \varepsilon G={(h,r,t)}⊆ε×R×ε, 其中$\epsilon$和$\mathcal{R}$分别为实体(节点)集、关系(边)集。
       图2提供了一个一个知识图谱的子集。在图2中，丢失的连接例如(New York, part_of, USA)能够基于现存的三元组(Donald Trump, born in, New York)和(Donald Trump, president of, USA)进行推断。

       本文提出的模型为encoder-decoder框架。图3展示了单层的RGHAT模型框架。为了获得多层的RGHAT, 仅需要将编码器堆叠成多层。编码首先将实体的邻域作为一个层次架构，并且计算对邻域计算关系层注意力和实体层注意力。接着，将两个注意力得分合并到一个元组层的注意力得分，并且最后的分数被反馈给信息聚合器(能够有效的将邻域信息聚合到中心实体)。最后，编码输出实体嵌入到解码器。解码器是一个知识图谱补全模型(可采用现存的知识图谱补全模型)。这些设置保证了模型的灵活性和可扩展性。此论文选择ConvE作为解码器。

$2)Encoder$
此部分，给出层次注意力机制和信息聚合的详细描述。
$2.1)Relation-levelAttention$
       在表示一个实体时，不同关系的权重差别很大。例如，当表示篮球队Los Angeles Lakers时，关系has_players比关系based_in_city更合适。由于一个队的运动员能够唯一地识别球队，而在同一个城市可能有多个球队。
       邻居实体和关系可被表示为多个$(h,r,t)$元组。在此文中，对于实体$e_1$，可以将三元组$(e_2,r,e_1)$转换为$(e_1,r^{-1},e_2)$。从而，每个实体总是可以作为邻域元组的头实体。因此只需要从尾实体到头实体聚合信息就可以。
       对于实体$h$关系层的注意力表明对实体表示时的每个关系的权重，定义如下：
$$\begin{gathered} a_{h,r}=W_1[h||v_r],(1) \\ {\alpha }_{h,r}=softma{x}_r(a_{h,r})=\frac{exp(\sigma (p\cdot a_{h,r}))}{{\sum }_{r^{\prime }\in {\mathcal{N}}_h}exp(\sigma (p\cdot a_{h,r^{\prime }}))},(2) \end{gathered}$$
其中，||表示连接操作，$h\in {\mathbb{R}}^d$头实体$h$的embedding，$d$是embedding的大小。$W_1\in {\mathbb{R}}^{d\times 2d},v_r\in {\mathbb{R}}^d和p\in {\mathbb{R}}^d$均为训练参数，$v_r$是表示一种关系特征的具体关系参数。${\mathcal{N}}_h$表示实体h的邻域关系。$\sigma$表示负输入斜率为0.2的LeakyReLU函数。经过以上计算，可以得到关系层的注意力分数${\alpha }_{h,r}$表示当对实体$h$进行表示时关系$r$的权重。

$2.2)Entity-levelAttention$
       相同关系下，邻域实体的权重或许不同。例如，关系has_players关联Los Angeles Lakers到不同的运动员，在所有运动员中，顶级运动员可能比其他运动员更具代表性。
    提出的模型首先将同一关系下的邻域实体看成一个组，然后计算实体层的注意力，如下：
$$\begin{gathered} b_{h,r,t}=W_2[a_{h,r}||t],(3) \\ {\beta }_{r,t}=softma{x}_t(b_{h,r,t})=\frac{exp(\sigma (q\cdot b_{h,r,t}))}{{\sum }_{r^{\prime }\in {\mathcal{N}}_{h,r}}exp(\sigma (q\cdot b_{h,r,t^{\prime }}))},(4) \end{gathered}$$
其中，$t\in {\mathbb{R}}^d$尾实体$t$的embedding，$t$是关系$r$的尾实体。$W_2\in {\mathbb{R}}^{d\times 2d}和p\in {\mathbb{R}}^d$均为训练参数，$b_{h,r,t}$是邻域元组$(h,r,t)$的表示。${\mathcal{N}}_{h,r}$表示关系r下实体h的尾实体。${\beta }_{r,t}$表示实体层的注意力分数(在关系$r$下当表示$h$时，所有尾实体中实体t的权重)。
       在得到了关系层及实体层的注意力后，将两个得分进一步融合到元组层的注意力得分，计算方式如下：
$${\mu }_{h,r,t}={\alpha }_{h,r}\cdot {\beta }_{r,t},(5)$$
$2.3)InformationAggregator$
此信息聚合器聚合从邻域到中心实体的信息，得到实体$h$的基于邻域的表示，计算方式如下：
$$\hat{h}=\sum _{r\in {\mathcal{N}}_h}\sum _{t\in {\mathcal{N}}_{h,r}}{\mu }_{h,r,t}{b}_{h,r,t}.(6)$$
       尽管$\hat{h}$合并了来自邻域的信息，但他缺少自身的有价值的信息。为此，本文进一步结合基于邻域的表示$\hat{h}$和$h$的输入表示，得到输出表示$h^{\prime }$。本文，设计了三种如下结合的方式：

• Additive combination
  $$h^{\prime }=\sigma (W_3(h+\hat{h})),(7)$$
• Multiplicative combination
  $$h^{\prime }=\sigma (W_4(h\odot \hat{h})),(8)$$
• Bi-interaction combination
  $$h^{\prime }=\frac{1}{2}(\sigma (W_3(h+\hat{h}))+\sigma (W_4(h\odot \hat{h}))),(9)$$
         本文也采用了多头注意力机制，稳定学习过程并封装更多关于邻居的信息。具体地，$K$个独立的注意力机制计算embeddings,并连接起来。表示如下：
  $$h^{\prime }={\Vert }_{k=1}^K{h}_k^{\prime },(10)$$
  此处$h_k^{\prime }$表示第$k$个头的输出表示。在encoder的最后一层，用平均多头的embeddings来代替连接，方式如下：
  $$h^{\prime }=\frac{1}{K}\sum _{k=1}^K{h}_k^{\prime }.(11)$$
      单层的encoder在一次训练迭代时，聚合从1跳邻居到中心实体的信息。随着层数和迭代数的增加，此模型能够有效的聚合多跳邻居，从而为中心实体的表示提供更有价值的信息。最终，编码器输出新的实体embedding $h^{\prime }$到解码器。
  
  $3)Decoder$
         解码器能够被现存的多数知识图谱补全模型替代。本文使用ConvE作为解码器(尝试其他模型觉得，ConvE效果最好)。ConvE通过卷积层和全连接层构建输入实体和关系的交互。基于$(h,r,t)$元组，ConvE首先重塑$h$和$r$的embeding为2D张量，然后基于重塑的张量计算知识元组的分数。ConvE的得分函数为：
  $$f(h,r,t)=ReLU(vec(ReLU([\bar{h};\bar{r}]\ast \omega ))Q)t,(12)$$
  此处，$\bar{h}$和$\bar{r}$是$h$和$r$的2D重塑：即if $h,r\in {\mathbb{R}}^{d^{\prime }}$,那么$\bar{h},\bar{r}\in {\mathbb{R}}^{d_1\times d_2}$且$d^{\prime }=d_1{d}_2$。$\omega$表示滤波的集合，*表示卷积操作。$vec(\cdot )$是一个矢量化函数，$Q$是个权重矩阵。ConvE假设正的元组比负元组有着更高的分数。
  损失函数为：
  $$\mathcal{L}=\sum _{(h,r,t)\in {\mathcal{T}}_t}-\frac{1}{N}\sum _{i=1}^N(y(h,r,t_i)\cdot log(g(f(h,r,t_i)))+(1-y(h,r,t_i))log(1-g(f(h,r,t_i)))),(13)$$
  其中，$y(h,r,t_i)$是三元组$(h,r,t_i)$的标签（1或者0）。$N$表示尾实体候选集的数量，$g$表示sigmoid函数。模型采用Adam优化器。
  

$实验$

数据集

数据集FB15k-237与WN18RR均为去除了逆关系的原数据集的子集。
为了进一步的分析RGHAT在实体不同度上的性能。本文通过实体的度将训练集分为三个集合，第一个集合${\epsilon }_1^{train}$由度为前10%的实体组成；第二个集合${\epsilon }_2^{train}$由度为前10%到50%的实体组成；第三个集合${\epsilon }_3^{train}$由其余的实体组成。然后按照以下方式获取测试集。对于测试集中的每一个元组$(h,r,t)$，如果$h\in {\epsilon }_1^{train}$并且$t\in {\epsilon }_1^{train}$,然后$(h,r,t)\in {\mathcal{T}}_1^{test}$。第二个和第三个集合以相同的方式获得。三元组的数量如表2所示：

实验结果



** 如有错误欢迎各位批评指正！大家共同进步~ **