门控图神经网络（GGNN）及代码分析

门控图神经网络GGNN及代码分析

基本概念

GGNN是一种基于GRU的经典的空间域message passing的模型

问题描述

一个图 G = (V, E)， 节点v ∈ V中存储D维向量，边e ∈ E中存储D × D维矩阵， 目的是构建网络GGNN。
实现每一次参数更新时，每个节点既接受相邻节点的信息，又向相邻节点发送信息。

主要贡献

基于GRU提出了GGNN，利用RNN类似原理实现了信息在graph中的传递。

传播模型

输出模型

来源论文
Gated Graph Sequence Neural Networks，ICLR 2016
链接：https://arxiv.org/abs/1511.05493
官方实现（Lua）：https://github.com/yujiali/ggnn
第三方实现（pytorch）：https://github.com/calebmah/ggnn.pytorch
GRU概念详见：https://blog.csdn.net/lthirdonel/article/details/88945257

代码分析

只看论文确实让人觉得玄学，特别是annotation部分，很迷
结合代码来看就好很多，这里例举的是@JamesChuanggg的pytorch实现ggnn.pytorch，这个实现的代码相比于官方版本来说，容易读很多

1.annotation

annotation = np.zeros([n_nodes, n_annotation_dim])
annotation[target[1]-1][0] = 1	

核心实现就是上面这个，除了表达到达关系部分用了1，其他padding成了0

2.每一个时间步的实现

class Propogator(nn.Module):