Dynamic Graph Convolutional Networks. Pattern recognition 2019

摘要

我们的目标是通过使用神经网络模型来联合开发结构化数据和时间信息。基于这个原因，我们提出了两种新的方法，将长-短期记忆网络和图卷积网络结合起来，结合图结构来学习长-短期依赖关系。

介绍

balabalbala....，许多真实世界的结构化数据是动态的，并且图中的节点/边可能会随着时间而变化。在这种动态场景中，时间信息也可以发挥重要作用。

LSTM和GCN简介。

本文的组织结构如下：第2节总结了最相关的方法。在第3节中，我们描述了我们的方法。第4节介绍了与基准方法的比较。第5节通过讨论我们的发现和未来可能的扩展来结束本文。

相关工作

有少量的方法被设计用于对动态网络中的节点进行分类[14,22]。Li等人[14]提出了一种能够学习潜在特征表示并捕获动态模式的方法。Yao等人[22]提出了一种基于支持向量机的方法，该方法将先前时间瞬间的支持向量与当前训练数据相结合，以利用时间关系。Pei等人[17]为动态社交网络中的节点分类定义了一种称为动态因子图模型的方法。更准确地说，这种方法将动态图形数据组织成一系列图形。设计了三种类型的因子，即节点因子、相关因子和动态因子，分别捕获节点特征、节点相关性和时间相关性。节点因子和相关因子被设计用来捕获图结构的全局和局部特性，而动态因子则利用了时间信息。

总结：以上提及的神经网络结构不能正确处理时间信息（无法捕捉动态--个人理解）。

我们的方法（跩~）

由于我们感兴趣的任务的动态性质，本文提出的新网络结构将适用于图的有序序列和顶点特征的有序序列。

我们的贡献基于将图卷积的扩展（GC，GCNs的基本层）和LSTM的改进版本相结合的思想，从而通过利用图结构数据和顶点特征来学习下游递归单元。我们提出了两个类GC层，它们以一个图序列和相应的顶点特征的有序序列作为输入，并输出一个新的顶点表示的有序序列。

1、瀑布动态GC层，在序列的每一步对顶点输入序列执行图卷积。该层的一个重要特征是，每个图卷积的可训练参数在序列的各个步骤中共享；

2、连接动态GC层，在序列的每一步对顶点输入特征执行图卷积，并将其连接到输入。同样，可训练参数在序列中的步骤之间共享。

这两个层中的每一层都可以与LSTM的修改版本一起使用，以执行顶点序列的半监督分类或图形序列的监督分类。

两个GC层的数学定义、LSTM修改版

我们将提供两个修改的GC层的数学定义、LSTM的修改版本，以及一些其他方便的定义，这些定义在我们描述最终的网络体系结构时非常有用。

定义

Gi作为无向图的有限序列，在这个序列中的所有图都共享同样的顶点集。在Gi中，Xk对应结点Vk的特征向量。Z（序列）可以由G和X矩阵定义。

就G和LSTM的数学定义。

A邻接矩阵序列，X是G图序列的顶点集特征矩阵。B权重矩阵。M是输出。

 wd-GC层可以看作是标准GC层的多个副本，所有副本共享相同的训练权重。然后，得到的训练参数是d·M，与序列的长度无关。

cd GC是由GC层的T个拷贝组成的层，每个拷贝作用于序列的特定瞬间。然后将T拷贝的每个输出与其输入连接起来，从而产生一系列图卷积特征和顶点特征矩阵。注意，权重B在T个拷贝之间共享。该层的可学习参数数量为d·（dm），与序列（Gi）i中的步骤数量无关∈ZT。

注意，wd-GC和cd-GC的输入和输出都是矩阵序列（松散地说，是三阶张量）。现在我们将定义三个附加层。当我们将在第3节中介绍时，这些将帮助我们使用符号减少混乱。

注意，wd-GC和cd-GC的输入和输出都是矩阵序列（松散地说，是三阶张量）。

现在我们将定义三个附加层。当我们将在第3节中介绍时，这些将帮助我们使用符号减少混乱。第3.2和第3.3我们用来解决顶点序列的半监督分类和图序列的监督分类的网络结构。准确地说，它们是：（i）用于以并行方式处理卷积顶点特征的递归层，（ii）用于将先前层输出映射为k类概率向量的最后两层（每个任务一个）。

 v是R的等距嵌入矩阵.定义为[Vp]i，j = δip，δ是Kronecker函数。训练权重在LSTM的L个副本中共享。

 非正式地说：（i）v-LSTM层充当LSTM的L个副本，每个副本评估一行输入张量（Zi）i∈ZT的序列；（ii）vs FC层充当具有softmax激活的完全连接层（FC，[5]）的T个副本，所有副本共享参数。vs FC层为输入序列中的每个步骤输出L k类概率向量；（iii）gs FC层作为两个FC层的T个副本，具有softmax ReLU激活，所有副本共享参数。该层为输入序列中的每个步骤输出一个k类概率向量。注意，vs FC和v-LSTM的输入和输出都是矩阵序列，而对于gs FC，输入是矩阵序列，输出是向量序列。

。（a） wd GC层充当常规GC层的四个副本，每个副本处理序列的一个瞬间。第一层的输出由v-LSTM层处理，v-LSTM层充当返回序列LSTM层的五个副本，每个副本处理图形的一个顶点。最后一个gs FC层为序列的每个瞬间生成k类概率向量，可以看作是两个层的组合：第一个层在每个瞬间作用于每个顶点，第二个层在特定瞬间作用于所有顶点。（b） cd GC和v-LSTM层与图1a中的wd GC和v-LSTM一样工作，唯一的区别是，v-LSTM既适用于图形卷积特征，也适用于普通顶点特征，因为cd GC产生了它们的连接。最后一层为每个顶点和序列的每个瞬间生成k类概率向量，可以看作是FC层的5×4个副本。

顶点序列的半监督分类

图序列的监督分类

实验结果

数据集1：我们的第一组数据是[17]中描述的DBLP5dataset的子集。来自六个研究社区的会议，包括人工智能和机器学习、算法和理论、数据库、数据挖掘、计算机视觉和信息检索。准确地说，考虑了2001年至2010年的合著者关系，并以图表形式组织了每年的数据。每个作者代表网络中的一个节点，如果两个作者在所考虑的年份内合作撰写了一篇论文，则两个节点之间存在一条边。请注意，生成的邻接矩阵是未加权的。使用DeepWalk[18]从每个时间瞬间提取节点特征，并由64个值组成。此外，我们还通过增加作者在六个社区中发表的文章数量来增加节点特征，从而获得由70个值组成的特征向量。此特定任务属于以顶点为中心的应用程序。用于在顶点聚焦应用程序的上下文中评估我们的方法。

数据集2：CAD-1206是由122个RGB-D视频组成的数据集，对应于10种高级人类活动[13]。每个视频都使用子活动标签、对象启示标签、跟踪的人体骨骼关节和跟踪的对象边界框进行注释。10个子活动标签是：到达、移动、倒酒、吃、喝、打开、放置、关闭、擦洗、空。我们的第二个数据集由与子活动检测相关的所有数据组成，即未考虑对象可承受性数据。请注意，检测子活动是一个具有挑战性的问题，因为它涉及复杂的交互，因为人类可以在单个活动中与多个对象交互。此特定任务属于以图形为中心的应用程序。

总结

我们首次介绍了两种神经网络方法，它们能够处理顶点序列的半监督分类和图序列的监督分类。我们的模型基于修改后的GC层，与修改后的LSTM版本连接。我们根据一些基线在两个数据集上评估了它们的性能，显示了它们在顶点序列的半监督分类方面的优越性，以及CD-GCN在图序列的监督分类方面的优越性。我们可以假设，当图形大小较小时，WD-GCN和CD-GCN性能之间的差异是由于CD-GCN采用的特征增强方法造成的。这个猜想应该在未来的工作中加以解决。我们认为，我们工作的有趣扩展可能包括：（i）使用替代的经常性单位来取代LSTM；（ii）提议进一步延长GC单元；（iii）探索结合本工作中提出的层的更深层次体系结构的性能。