论文Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs阅读报告

 

摘要：这篇论文主要是介绍知识图谱补全的一个模型，对三元组中的关系预测，即（h,r,?），（?,r,t），（h,?,t）。近期的一些工作表明，基于卷积神经网络的模型会生成更丰富，更具表达力的特征嵌入，因此在关系预测上也能表现出色。但是，作者观察到这些KG嵌入独立地处理三元组，因此无法覆盖在三元组周围的相邻节点中固有隐含的复杂和隐藏信息。为此，作者提出了一种新颖的基于注意力的特征嵌入，该特征嵌入可捕获任何给定实体邻域中的实体和关系特征。此外，作者还在模型中封装了关系簇和多跳关系。作者的实证研究提供了基于注意力模型的有效性的见解，并且与所有数据集上的最新方法相比，取得了显著的性能提升。

 

        目前最新的关系预测方法主要是基于知识嵌入的模型。 它们被广泛地归类为翻译模型和卷积神经网络模型。翻译模型使用简单的操作和有限的参数来学习嵌入，嵌入的效率较低。相比之下，基于CNN的模型可以学习更多的的表达性嵌入。但是，基于翻译的模型和基于CNN的模型都独立的处理每个三元组，因此无法封装在KG中给定实体邻域固有存在的丰富语义和潜在关系。

论文首先基于图注意力机制对网络进行编码，即使用更有效的方法对三元组进行向量表示，然后使用convKB进行解码，即把用向量表示的三元组喂入神经网络convKB进行链接预测，本文的贡献点是第一部分。

1、编码器介绍

图注意力网络Graph Attention Network为避免与生成对抗网络（GAN）重名，故简写为GAT。GAT是在GCN的基础上做了改进，把注意力机制引入到GCN中，GAT解决了GCN中平等地从邻居中获取信息的缺点，使用注意力机制对邻居节点赋予不同的权值。但是作者指出GAT不能有效的捕获多跳邻居节点的潜在关系，因此对GAT进行了改进。模型图如下：

模型每层的以两个矩阵作为输入，实体嵌入矩阵和关系嵌入矩阵分别表示为 、 的嵌入，矩阵G的第i行为关系 的嵌入， 为网络中实体的总数， 为网络中关系的数量。为了获得三元组新的嵌入，将对每一个三元组做线性变化，对于特定的三元组 ，经过线性变化后为 ，公式如下：

 

再将 与权重矩阵 相乘，并使用LeakyReLU激活函数，公式如下：

 

然后对 进行归一化处理，公式如下：

 

其中 表示与 相邻的节点， 表示与 相连接的边。实体 新的嵌入表示方法为：

 

σ为任意的激活函数。该模型也加入了multi-head attention机制，M表示有M个独立的注意力计算机制。对于关系向量，通过权重矩阵 进行了一次线性变化，公式如下：

 

经过一系列线性变化后，新的嵌入已经失去了最初的嵌入信息，为了解决这个问题，对初始的向量进行线性变化，再加上经过计算得到的嵌入矩阵，公式如下：

 

最终网络的模型图如下：

 

图中黄色的圆表示的是实体，绿色的圆表示的是关系。模型的输入即为多个相连接的三元组向量。模型的第一层中，将计算到的注意力系数与 相乘，并使用激活函数。模型最中心的图，表示的是将不同注意力机制下的向量连接起来，并对关系矩阵G与权重矩阵W相乘。模型的第二层，对多层注意力机制下得到的向量求和并进行平均。最后，将得到的嵌入向量与初始的嵌入向量联系在一起，得到最终的向量。模型的第一层，所有的实体向量仅表示与该实体直接相连的节点信息，在模型的第二层，实体向量就可以捕获到距离n跳的邻居节点的信息。

模型的损失函数为hinge-loss:

 

其中S表示合法的三元组， 表示不合法的三元组，即三元组的头实体或尾实体被其他实体所替代。

2、解码器介绍

模型使用convKB作为解码器，以此来评估模型效果。得分函数的表达式如下：

 

公式中 为三元组的向量表示，Ω为过滤器的集合，∗表示卷积操作，w为n行一列的权重向量，进行点积操作，最终计算三元组的得分。模型图如下：

 

模型使用Adam优化器训练ConvKB，损失函数如下：

 

其中 ，使用 正则化，对权重向量使用二范数， 控制正则项的大小，较大的 取值，将较大程度约束模型的复杂度， 正则化是深度学习中最流行的方法，也成为权重衰减。

3、实验部分

论文使用了WN18RR、FB15k-237、NELL-995、Kinship、UMLS数据集。WN18RR数据集包括从WordNet抓取的41000个同义词，11个关系，是对WN18的延申。

FB15k-237数据集包含知识库关系三元组和Freebase实体对的文字说明。 知识库三元组是FB15K集的子集，该集最初来自Freebase。包含15K个实体，237个关系。NELL-995数据集删除了具有泛化或关系的三元组，这两个关系再NELL系统中出现了2M次，但是没有合理得推理值。NELL-995子集适合从NELL系统的第995次迭代进行多跳推理。Kinship，这是两个亲属数据集：KinFaceW-I和KinFaceW-II。面部图像是从互联网上收集的，包括一些公众人物的面部图像以及他们父母或孩子的面部图像。UMLS，又称为统一医学语言系统，是对生物医学科学领域内许多受控词表的一部纲目式汇编。UMLS是一个相对较小的知识图谱，只有135个实体和46个关系。 尽管此数据集的大小与亲属关系相当，但与亲属关系相比稀疏得多，平均度数为38.63，而亲属关系则为82.15。

作者在实验时，发现在知识图谱中，当节点的度越高时，该模型的效果越好。比如在FB15k-237和UMLS数据集中，该模型在MR和MRR以及在命中前一、前三、前10排名方式中，对比之前的模型，均取得了最好的结果。另外，当两个节点有多条路径时，该模型会选择使用最短的路径。

4、总结

论文中模型的介绍已经完毕，该模型首先引用了GAT模型，但是在GAT的基础上有所创新，即将关系也作为输入向量一起训练，通过编码器得到三元组的向量表示方法，这样做的好处是可以获取节点的n跳邻居的信息，而之前的方法忽略了关系的重要作用。在完成编码后，使用ConvKB来检验结果，作者也针对各个数据集调节了超参数。

论文的主要贡献是：1）第一个学习基于图注意力的嵌入，并且是专门针对KG的关系预测。2）概括并扩展了图形关注机制，以捕获给定实体多跳邻域中的实体和关系特征。3） 用现有的数据集评估了该模型，并且实验结果比现有的关系预测方法有了明显的实质性改进。下一步作者将对模型扩展，使其在分层图上更好地执行，并在图注意力模型中捕获实体之间的高级关系。

 

• 阅读收获

经过对这篇论文的学习，了解了科技论文的大致框架，同时阅读英文论文也没有那么恐惧了。首先是对英语的学习，开始阅读时，论文中的每一句话都要使用翻译工具，经过阅读这篇论文以及相关的论文，已经可以脱离翻译工具进行学习论文了。

其次，阅读论文时，有很多相关的专业术语需要一个一个的学习。开始阅读时，会直接去翻译这些术语，然后往往自己不能理解。经过几篇文献的阅读，对一些常用的术语已经基本了解了。对于陌生的术语，也会比较敏感的去查查它的含义。

最后是对数学公式的理解，开始对论文中的数学公式比较恐惧。因为很多字符都是陌生的，而且用英文来解释公式感觉不如用汉语容易理解，这个可能是英语水平的问题，并且看到长串的公式不能够淡定的去分析，而是恐惧。经过对这篇论文的学习，已经有了较大的进步。而且该论文除了作者提出的模型，还介绍了GAT和ConvKB，但是作者在该论文中并没有详细的介绍，因此需要查阅相关的论文去理解。在学习时，也会参考一些博客，从多个角度去理解这篇论文，感觉收获很大。