经典算法：Multi-dimensional Graph Convolutional Networks

论文：Multi-dimensional Graph Convolutional Networks

ABSTRACT

卷积神经网络(CNNs)利用其强大的表示学习能力对图像、视频等规则网格数据进行表示学习。近年来，将CNN推广到高度不规则的图形或网络数据上受到越来越多的关注。

有的侧重于图形级表示学习，有的着眼于学习节点级表示。这些方法已经被证明可以提高许多图级任务(如图分类)和节点级任务(如节点分类)的性能。

这些方法大多是针对单维图设计的，其中一对结点只能通过一种类型的关系连接，然而，许多现实世界的图具有多种类型的关系，它们可以自然地建模为多维图，每种类型的关系都是一个维度。

多维图形带来了更丰富的维度间交互作用，这对专为单维图形设计的图卷积神经网络提出了挑战。本文研究了多维图的图卷积网络问题，提出了一种多维卷积神经网络模型mGCN，目的是在学习多维图的节点级表示时捕捉到丰富的信息。

在真实多维图形上的综合实验证明了该框架的有效性。

1 INTRODUCTION

卷积推广到图。

贡献：

• ·我们提出了一种原则性的方法来捕获维内和跨维的交互；
• ·我们提出了一个多维图卷积网络框架mGCN，它可以对多维图中丰富的信息进行连贯的建模，用于表征学习；以及
• ·我们在真实世界的多维图上进行了全面的实验，证明了该框架的有效性。

2 THE PROPOSED FRAMEWORK

然而，在多维图形中，所有维度共享同一组节点，而节点之间的交互在不同维度上是不同的。节点之间的不同相互作用在不同维度上形成不同的网络结构。

这两种类型的交互导致了两种不同类型的邻居-维内邻居和跨维邻居。对于给定维度d中的节点设备i，维度内邻居由维度d中与其连接的所有节点组成(或者对于所有vj，其中Ad[i，j]=1)。对于给定维度d中的节点vi，跨维邻居由其自己在其他维度中的副本组成。

为了获取每个维度内和跨维度的信息，以及整个多维图形中的一般信息，我们为每个节点引入了两种表示–维度特定表示来表示每个维度中的维度内和跨维度信息，以及通用表示来表示整个多维图形中的一般信息。我们首先详细介绍了这两种表示方式，然后引入模型组件来获取维内信息和跨维信息，最后讨论了所提出的框架。

2.1 General and dimension-specific representations

特定维度的表示与每个维度相对应，而通用的表示应该涵盖所有维度的信息。在这一部分中，我们将介绍一般表示法和特定维数表示法之间的关系。

更具体地说，我们描述了将通用表示转换为特定于维度的表示的过程，以及组合特定于维度的表示以形成通用表示的过程。该程序不仅可以帮助我们更好地理解特定尺寸表示与一般表示之间的关系，而且还可以帮助我们减少表示参数。

To get the dimension-specific representations hi,dfrom the general representation hi

To get the general representation from the dimension-specificrepresentations

2.4 Multi-dimensional Graph ConvolutionalNetworks

首先，通过全连接层，全局表示到个视图处理前的表示，

其中，α是控制两个组件之间重要性的超级参数。该组合在聚合后生成维数特定的表示，记为Hkd，d=1，…，D。最后，我们根据公式将这些维数特定的表示组合起来，得到新的通用表示Hk+1

电子演示可以是与节点相关联的特征、通过某些网络嵌入方法学习的表示或者甚至是随机初始化的表示。设输入为X，则我们初始化H0=X，多维GCN的输出是在第(K−1)层中形成的一般表示Hk。为方便起见，我们用Z：=HK表示。

模型中的参数包括全连通组合层的投影矩阵Wkd，d=1，…，D，wk和k=0，…，K−1时注意函数的Mk。为了训练模型，可以设计不同的损失函数。例如，我们可以使用来自节点标签的监督信息。在这项工作中，我们利用链接信息设计了一个无监督损失函数。更具体地说，我们将维度d中节点vi和节点vj之间存在的链路的概率建模为：

3 EXPERIMENTS

我们的方法mGCN在两个数据集上的性能都优于所有的基线，这表明我们的方法是有效的。mGCN的性能优于GCN，这表明利用多维图中的多维关系是必要的，我们提出的方法mGCN可以很好地帮助他们学习更好的表示

-mGCN优于MIREs，说明mGCN能更好地捕捉内、跨维信息；-mGCN优于mGCN-NOA，说明了注意机制在跨维聚集过程中的有效性；-mGCN优于MGCN-NOA，说明了注意机制在跨维聚集过程中的有效性；-mGCN优于mGCN-NOA，说明了注意机制在跨维聚集过程中的有效性。

CONCLUSIONS AND FUTURE WORK

在这篇文章中，我们提出了一种新的多维图的图卷积网络。我们提出使用特定维度的表示来捕捉每个维度中节点的信息，而使用通用表示来捕捉整个图上的节点的信息。特别地，我们建议在对每个维度的特定维度表示进行建模时，从维度内和维度间的交互中获取信息。然后，我们使用完全连接层将这些特定于维度的表示合并为一般表示。我们在两个真实的多维网络上进行了全面的实验。实验结果证明了该框架的有效性。

获取信息。然后，我们使用完全连接层将这些特定于维度的表示合并为一般表示。我们在两个真实的多维网络上进行了全面的实验。实验结果证明了该框架的有效性。

在这项工作中，我们采用加权平均来结合来自维内聚集和跨维聚集的表示。可以尝试更先进的组合方法，如非线性函数，甚至前馈神经网络。许多真实世界的图形或网络都在自然地演变。因此，在对图的卷积网络进行建模时，考虑时间信息将是一个有趣的课题。例如，一个可能的方向是在建模维内聚合时考虑创建的链接时间戳。