论文浅尝 | 用于学习知识图谱嵌入的一种基于注意力机制的新型异构 GNN 框架HRAN...

笔记整理 | 李爽，天津大学

---

链接：http://hfbix45521e79b0484907sowxo0fubpp9b6xwx.fiiz.eds.tju.edu.cn/stamp/stamp.jsp?tp=&arnumber=9359364

动机

知识图谱 (KG) 嵌入旨在研究嵌入表示以保留 KG 的固有结构。图神经网络(GNN)作为一种有效的图表示技术，在学习图嵌入方面表现出了良好的性能。然而，KG具有异构性的内在属性，其中包含各种类型的实体和关系。如何同时处理复杂的图数据并聚合多种类型的语义信息是一个关键问题。本文提出了一种基于注意力机制的新型异构 GNN 框架HRAN，不仅聚合了来自不同语义方面的实体特征，而且还为它们分配了适当的权重。与几种最先进的方法相比，在三个真实世界上的 KG实验结果证明了其优越的性能。

亮点

HRAN的亮点主要包括：

1.通过关系路径融合每种特定语义的信息，可以分层聚合相邻特征，同时保留不同的特征信息，使GNN可以直接应用于异构KG，并进一步促进后续的链路预测任务；2.利用注意力机制来学习每个关系路径的重要性，并可以根据学习到的注意力值，有选择地聚合信息特征，抑制无用特征。

概念及模型

模型的总体框架如下图所示。

实体级聚合

由于KG的异构性，不同类型的实体可能出现在不同的特征空间中，不适合将每个实体的所有邻居特征直接聚合起来。因此，提出实体级聚合，首先对每个基于关系路径的实体特征进行聚合，聚合方程为：

在本文中，实体级别的聚合器函数   被称为 GCN。因此，上式可以写为：

关系级聚合

提出一种新的基于关系的注意力机制来获取不同关系路径的重要性，然后利用它来聚合不同类型的语义信息。为了学习每个关系路径的权重值，首先利用非线性变换(如单层MLP)来变换关系特定的特征