GCN学习笔记

论文链接：Modeling Relational Data with Graph Convolutional Networks
GitHub链接：Graph Convolutional Networks for relational graphs

摘要

1.文章介绍并应用关系图卷积神经网络（R-GCN）来解决2个标准的知识库完善工作：链路预测（通过已知的网络节点和网络结构预测还未产生连边的两个节点产生链接的可能性）和实体分类（恢复缺失的实体属性）。
2.R-GCN将神经网络应用于图，并用来处理具有多种关系数据特点的真实知识库。
3.文章证明了R-GCN模型用于实体分类的出色的有效性；进一步表明进行链路预测时，因素分解模型（factorization model）（e.g. DistMult）的效能可以通过使用编码器模型（encoder model）提高。

1. 介绍

预测知识库中的缺失信息是统计关系学习（statistical relational learning，SRL）的主要焦点。根据之前有关SRL的工作，假设知识库存储(subject, predicate, object）三元组形式的知识。例如三元组 (Mikhail Baryshnikov, educated at, Vaganova Academy)，Mikhail Baryshnikov和Vaganova Academy是实体，educated at是关系。此外，假设实体以type为标签（e.g. Vaganova Academy is marked as a university），可以通过图1的方式对知识库进行展示。

SRL的链路预测和实体分类中，许多缺失的信息会驻留在通过邻域结构编码的图形中。例如，知道Mikhail Baryshnikov was educated at the Vaganova Academy，则意味着Mikhail Baryshnikov的标签是人，并且三元组(Mikhail Baryshnikov, lived in, Russia) 也一定属于这个知识图谱。按照这种直觉，文章为关系图中的实体开发了编码器模型并应用于两种任务中。

1.实体分类模型：于图中的每个节点使用softmax分类器，分类器采用R-GCN提供的节点形式并且进行标签预测。该模型通过优化交叉熵损失（cross-entropy loss）进行学习，包括R-GCN参数。
2.链路预测模型：可被看作自动编码器，包括（1）编码器：由R-GCN产生的实体的潜在特征表示；（2）解码器：张量因素分解模型（tensor factorization model）——DistMult (Yang et al. 2014)，利用这些特征表示预测带标签的边。

文章优势：1.表明GCN框架可被用来为关系型数据建模（特别是链路预测、实体分类）；2.提出参数共享和实施稀疏性约束的技术，并将R-GCN应用于含有大量关系的多图中；3.表明分解模型（e.g.DistMult）的性能可以通过执行关系图中多个信息传播的步骤的编码器模型进行提升。

2. 神经关系模型

符号：有向的有标签的多图G=(V, E, R）
节点（实体）v${}_i$$\in$V，有标记的边（关系）(v${}_i$, r, v${}_j$)$\in$E，边的类型r$\in$R。

2.1 关系图卷积神经网络

R-GCN层与层之间的传播方式：

                  h${}_i$${}^{(l+1)}$=$\sigma$（$\sum$${}_{r\in R}$$\sum$${}_j$${}_{\in }$${}_{N_i^r}$ $\frac{1}{c_{i,r}}$W${}_r$${}^{(l)}$h j _j