EvolveGCN:动态图的参数演化图卷积网络 AAAI2020

EvolveGCN: Evolving Graph Convolutional Networks for Dynamic Graphs

论文链接.

Abstract

由于深度学习在欧几里得数据中的广泛应用，图表示学习重新成为一个趋势，它激发了非欧几里得领域(尤其是网络图)神经网络的各种创造性设计。随着这些图神经网络(GNN)在静态设置中的成功，我们进一步考虑图动态演化的实际场景。现有的方法通常利用节点嵌入，并使用递归神经网络(一般为 RNN)来调节嵌入和学习时间动态。这些方法需要了解一个节点的全部时间跨度(包括训练和测试)，不能适应频繁变化的节点集。在一些极端情况下，不同时间步长的节点集可能完全不同。为了解决这个问题，我们提出了EvolveGCN，该EvolveGCN在时间维度上适配了图卷积网络(GCN)模型的训练，而没有使用节点嵌入。该方法利用RNN获得GCN参数来捕获图序列的动态性。本文提供了关于这种参数演化方法的两种体系结构。评估了所提出方法在常规任务如链路预测，边分类，和节点分类。实验结果表明，EvolveGCN具有比相关方法更高的性能。

Introduction

与欧几里得数据(例如图像、视频、语音信号和自然语言)相比，使用图形进行学习遇到了独特的挑战，包括它们的组合特性和可伸缩性瓶颈。因此图表示学习(在节点层面和图层面)具有极大的研究意义。

传统的研究中神经网络主要集中于给定的、静态图，而在现实生活应用中，我们会经常遇到动态演变的图，例如：

1. 用户社交网络
2. 引文网络
3. 金融网络

这些例子推动了对关系数据的时间演化进行编码的动态图方法的发展。

在此工作中，我们通过引入递归机制来更新网络参数，以获取图的动态，将其扩展到动态设置。

对图神经网络的分析：

大部分的gnn通过递归地聚合单跳邻近的节点嵌入来执行信息融合。网络的大多数参数是每一层中嵌入的节点的线性变换。

类似的工作：将GNN与LSTM相融合

• Structured sequence modeling with graph convolutional recurrent networks Seo, Y.; Defferrard, M.;
• Dynamic graph convolutional networks.Manessia, F.; Rozza, A.; and Manzo, M. 2017
• Learning graph dynamics using deep neural networks Narayan, A., and Roe, P. H. O. 2018.

这类问题的缺点：

As a result, one single GNN model is learned for all graphs on the temporal axis. A limitation of these methods is that they require the knowledge of the nodes over the whole time span and can hardly promise the performance on new nodes in the future.

在实践中，除了训练后可能出现新节点外，节点还可能频繁出现和消失，这使得节点嵌入方法存在问题，因为RNNs学习这些不规则行为是很有挑战性的。为了解决这些挑战，本文建议使用RNN在每个时间步长调节GCN模型(即网络参数)。这种方法有效地执行了模型调整，它关注于模型本身，而不是节点嵌入。因此，节点的变化没有限制。此外，对于未来具有没有历史信息的新节点的图，进化后的GCN对它们仍然是合理的。

另外，由于GCN模型并不参与训练，其参数由RNN负责计算，因此只有RNN的参数被训练，整个模型的参数大小并不会随着时间步的增加而增大。

Related work

动态图的方法通常是静态图的扩展，更多地关注时间维度和更新方案。
1、例如，在基于矩阵分解的方法中(Roweis和Saul 2000;Belkin和Niyogi 2002)，节点嵌入来自于图Laplacian矩阵的(广义)特征向量。因此，DANE (Li et al. 2017)根据之前的特征向量有效地更新特征向量，而不是对每个新图从头开始计算特征向量。这种方法的主要优点是计算效率高。
2、对于基于随机行走的方法(Perozzi, Al-Rfou, and Skiena 2014;(Grover and Leskovec 2016)，基于历史的转移概率建模为对应节点嵌入的归一化内积。这些方法使抽样随机游动的概率最大化。CTDANE (Nguyen等人，2018)通过要求walks服从时间秩序扩展了这一观点。另一项工作NetWalk (Yu et al. 2018)没有使用概率作为目标函数;相反，它观察到，如果图形没有发生实质性的变化，一个walk只需要在连续的时间步中重新取样几次行走。因此，这种方法通过热启动逐步重新训练模型，大大降低了计算成本。
3、在深度学习方面，例如：DynGEM (Goyal et al. 2017) 一种用来最小化重构损失与节点间距离的自编码器。
4、动态图的一种流行方法是时间连续的点过程。
5、另一种最相似的工作是将GNN与循环神经网络的结合。

whereby the former digest graph information and the latter handle dynamism

GCN：生成节点嵌入 + LSTM 捕获序列动态性

• GCRN: Structured sequence modeling with graph convolutional recurrent networks
• WD-GCN/CD-GCN (Manessia, Rozza, and Manzo 2017) and RgCNN (Narayan and Roe 2018).

ST-Conv: 时空卷积块 将GCN和1-D convolution结合

STGCN: STGCN (Yu, Yin, and Zhu 2018) proposes a complex architecture that consists of so-called ST-Conv blocks. In this model, the node features must be evolving over time, since inside each ST-Conv block, a 1D convolution of the node features is first performed along the temporal dimension, followed by a graph convolution and another 1D convolution.

Method

that captures the dynamism underlying a graph sequence by using a recurrent model to evolve the GCN parameters.

符号规定：
t:时间戳
l:GCN Layer
n:节点数（可变）
$A_t\in R^{}$