RGCN - Modeling Relational Data with Graph Convolutional Networks 使用图卷积网络对关系数据进行建模 ESWC 2018

此文章转载自：https://blog.csdn.net/yyl424525/article/details/102764903

论文：Modeling Relational Data with Graph Convolutional Networks 使用图卷积网络对关系数据进行建模

作者：来自于荷兰阿姆斯特丹大学的 Michael Schlichtkrull, Thomas N. Kipf（GCN的作者）, Peter Bloem, Rianne van den Berg, Ivan Titov, Max Welling

来源：ESWC 2018

论文链接：https://arxiv.org/abs/1703.06103

Github链接：Graph Convolutional Networks for relational graphs https://github.com/tkipf/relational-gcn

知识图谱支持多种应用，包括问答系统和信息检索。尽管在知识图谱的创建和维护上投入了很大的努力，但是目前最大的知识库（例如 Yago, DBPedia或Wikidata）仍然是不完善的。预测知识库中的缺失信息是统计关系学习（statistical relational learning，SRL）的主要研究内容。

文中引入了关系图卷积网络(R-GCNs)，并将其应用于两个标准知识库上完成任务:链接预测(恢复缺失的元组，即subject-predicate-object三元组)和实体分类(为实体分配类型或分类属性)。RGCNs是专门为处理具有高度多关系数据特征的现实知识库而开发的。实验证明了R-GCNs作为实体分类的独立模型的有效性。实验进一步证明，对诸如DistMult这样的链路预测的分解模型的改进是显著的，方法是使用一个编码器模型来在关系图的多个推理步骤上积累证据，结果表明FB15k-237比仅使用一个解码器的baseline提高了29.8%。

1 相关介绍

在之前的SRL研究中，假设知识库存储的都是三元组（subject-predicate-object，主语、谓语、宾语）的集合。 例如(Mikhail Baryshnikov, educated at, Vaganova Academy)三元组，其中Mikhail Baryshnikov和Vaganova Academy表示实体，educated at表示实体之间的关系。并假设实体的标签用类型来表示，例如用university来标记Vaganova Academy。因此实体对应于节点，关系对应于边，就可以把知识库表示为一个有向有标签的多图。

两个任务

考虑SRL中的两个任务：

• 链接预测(恢复缺失的元组）
• 实体分类(为实体分配类型或分类属性)

在这两种情况下，许多丢失的信息都可能存在于通过邻域结构编码的图中。也就是说，知道Mikhail Baryshnikov在Vaganova Academy接受教育，意味着Mikhail Baryshnikov应该有一个标签person，而且三人组（Mikhail Baryshnikov, lived in, Russia）一定属于知识图。

据此，文中为关系图中的实体开发了一个编码器模型，并将其应用于两个任务。

对于实体分类任务，和GCN论文中的类似，都是对图中的每一个节点使用一个softmax分类器。文中使用关系图卷积网络 (R-GCN)来提取每个节点的表示并预测标签。在 (R-GCN)模型中，参数通过优化交叉熵损失函数来学习。

对于链路预测任务可以看作一个自编码器，包括两个部分

• 编码器：一个生成实体的隐含特征表示的R-GCN
• 解码器：一个利用这些表示来预测标记边的张量因子分解模型

虽然原则上解码器可以依赖于任何类型的因子分解（或通常是任何评分函数），但文中使用最简单和最有效的因子分解方法之一的DistMult。

main contributions

• 此文第一个展示了GCN框架可以应用于关系数据建模，特别是链接预测和实体分类任务
• 引入了参数共享和实现稀疏约束的技术，并将其应用于具有大量关系的多图。
• 以DistMult为例，通过使用一个在关系图中执行多步信息传播的编码器模型来加强因子分解模型，可以显著提高它们的性能

2 Neural relational modeling

2.1 符号定义

• 有向有标签的多图：$G=(W,E,R)G=(W,E,R)G=(\mathcal{W},\mathcal{E},\mathcal{R})$hik