ACL 2019开源论文 | 基于Attention的知识图谱关系预测

作者丨王文博

学校丨哈尔滨工程大学硕士生

研究方向丨知识图谱、表示学习

动机

由于传统方法都将三元组进行独立的处理，忽略了其相邻的三元组之间隐藏的固有信息的缺点，使得无论是转化模型还是较新的基于卷积神经网络（CNN）的模型都不能获取在给定三元组附近的丰富的潜在结构信息。因此本文为解决上述问题尝试用图神经网络（GNN），从以下两方面进行创新：

• 通过不断迭代注意力机制网络，来为与给定节点具有不同距离的邻居结点赋予不同注意力值，使得最终该节点的嵌入向量包含多跳邻居节点信息在其中。通过以上方法构建出了针对知识图谱关系预测的嵌入模型。

• 为了解决距离越远连接的实体数量呈指数增长的问题为 n 跳实体引入辅助边作为辅助关系。

模型

背景知识补充 

知识图谱可以表示为 ζ=(ϵ,R)，其中 ϵ 和 R 分别表示集合中的实体（结点）和关系（边）。对于三元组可以表示两个实体节点之间存在边 r。嵌入模型试图学习实体、关系以及得分函数的有效表示，以达到当给定一个三元组作为输入时，得分函数 f(t) 可以给出 t 是真实三元组的概率。 

图注意力神经网络（GATs） 

图注意力神经网络 （GANs）不同于图卷积神经网络（GCNs）将所有邻居实体的信息赋予相同权重的策略，采用了按照邻居实体结点对给定实体结点的不同重要程度分配不同权重的策略。表示该神经网络中一层结点中的输入特征集合。该层生成的变换后的特征向量为，其中和分别表示实体的输入嵌入向量与输出嵌入向量，N 表示实体（结点）的个数。单独的 GAT 层可以描述为下述公式：

其中表示知识图谱中边的注意力值，W 是一个可以将输入特征映射到更高维的输出特征空间中的参数化的线性转化矩阵，a 是所选择的注意力函数。

每个边的注意力值表示边的特征对源结点的重要程度。此处相对注意力值通过对邻居集合中得出的所有注意力值进行 softmax 运算得出。公式ÿ