Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs

Relations are Important

尽管传统的GAT在获取网络结构上取得成功，但直接用于KG里是不合适的,因为它忽略KG里很重要的一部分信息——边，即在KG里实体之间的关系（relation）信息。

作者认为在KG里，实体起到不同的作用很大程度是依靠与其他实体连接的不同关系！

所以论文提出的模型就需要考虑学习到实体$e_i$的不同关系的信息，即需要加入关系向量。即相对于GAT，每一层的输入向量除了entity embeddings矩阵之外,还加入了关系向量表示 relations embeddings-G矩阵，同时输出也是它们两个。

为了从关系里学习到实体(entity)新的向量表示， 对于每个关系三元组$t_{ij}^k=(e_i,r_k,e_j)$构造如下公式，$h_i,h_j$ 即是实体向量$e_j,e_j$表示，$g_k$是关系的向量$r_k$表示，它们通过连接方式拼接而成，再乘一个$W_1$作为这层线性变换的参数矩阵。

然后再加一个$W_2$作为非线性变换的激活函数里的参数。

然后和GAT操作一样，用$b_{ijk}$ 图上相邻的实体节点（三元组）与它计算一个相关性权重系数$a_{ijk}$:

如下图展示计算一组关系三元组的相关性系数$a_{ijk}$的网络结构：

类似GAT, 对于下一层新的新的实体表示$h_i^{{}^{\prime }}$如下公式转换:

同时也和GAT里一样，模型采用multi-head attention机制，每层独立学习不同实体的向量表示，最后拼接在一起。

对于下一层新的关系的向量表示矩阵$G$有如下公式，直接乘一个$W\in R^{TX{T}^{\prime }}$参数矩阵进行线性转换，T’是输出层每个关系向量的维度大小（论文里这个符号貌似错了，上面是字母P）。

和GAT类似，最后一层网络的输出如果还使用mutil-head机制的话，维度太大，就直接取它们平均值。

为了保存最初向量的原有的信息，作者使用一个类似resual网络的思想，在最后一层layers，将最初的向量乘一个转换矩阵$W^E$使得转换后矩阵维度和GAT最后输出实体向量$H^f$一样，再将它们两相加，如下公式：

整个网络的结构如下图所示：
最后作者象征性解释，讨论一下，GAT加入边的关系后，通过GAT网络，可以让实体通过多次迭代，获取学习到其与其n-阶邻居节点的信息和关系，从而更高效全局的让知识图谱上所有不同距离的实体可以通过边互相分享其带有的信息，可以辅助完成一些预测，推理工作，如下图：