图神经网络教程4-卷积图神经网络

介绍

卷积神经网络在涉及图像的预测任务上取得了最先进的性能。通过将权值学习核与输入图像卷积，CNN根据其视觉外观提取感兴趣的特征，无论它们在图像中的位置是哪里。虽然图像只是图的一个特殊情况(见图1 (a))，但是为图领域定义一个广义卷积操作，从而为GNNs带来以下理想的属性:

1. 局部性（Locality）：学习到的特征提取权重应该被局部化。它们应该只考虑给定邻域内的信息，并且应该适用于整个输入图。
2. 可扩展性（Scalability）：这些特征提取器的学习应该是可扩展的，即可学习参数的数量应该独立于节点。最好操作应该是“可堆叠的”，这样就可以从连续的独立层构建模型，而不是像第3节中的RGNN那样需要反复迭代直到收敛。计算复杂度应该尽可能有界。
3. 可解释性（Interpretation）：卷积运算应该(最好)以一些数学或物理解释为基础，其机制应该直观易懂。

什么是卷积

我们通常将卷积定义为一种操作，通过积分或求和从两个给定输入导出输出，这表示了一个输入如何被另一个修改。

cnn中的卷积涉及两个矩阵输入，一个是前一层激活函数后产生的特征矩阵，另一个是学习权重的矩阵𝑊×𝐻，它在激活矩阵上被“滑动”，使用简单的线性组合聚合每个𝑊×𝐻区域(见图7 (a))。在空间图领域，这种类型的卷积似乎没有很好的定义;学习权重的刚性矩阵的卷积必须发生在刚性的激活结构上。我们如何协调非结构化输入(如图)上的卷积。

请注意，在我们对卷积的一般定义期间，没有任何一点是提到的给定输入的结构。事实上，卷积操作可以应用于连续函数(例如，音频记录和其他信号)、N维离散张量(例如，1D的语义向量和2D的图像)等。在卷积过程中，一个输入通常被解释为应用于另一个输入的过滤器(或核)，本节将采用这种语言。 

特定的滤波器可以用来执行特定的任务:在录音的情况下，高通滤波器可以用来滤除低频信号，在图像的情况下，某些滤波器可以用来增加对比度，锐化或模糊图像。在我们之前的CNN示例中，滤波器是学习的，而不是设计的。

空间方法（空域图卷积）

RGNN

在第3节中，人们可能会认为早期的RGNN使用了卷积操作。实际上，这些方法符合局部性、可扩展性和可解释性等要求。首先，方程1仅在中心顶点v𝑖的邻域内操作，由于对置换和邻域大小的不变性，因此可以应用于图中的任何邻域。其次，神经网络𝑓依赖于固定数量的权重，具有固定的输入和输出，与顶点无关。最后，卷积操作可以直接解释为图像卷积的一般化：在基于图像的卷积中，相邻像素值被组合以生成嵌入，在基于图的图卷积中，相邻顶点特征被组合以生成嵌入（见图7）。这种类型的图卷积被称为空间图卷积操作，因为在此过程中使用了空间连接性来获取邻域。

虽然RGNN技术满足空间卷积的定义，但在文献中有许多改进。例如，聚合函数的选择就很重要——不同的聚合函数会对性能和计算成本产生显著的影响。

GraphSAGE框架[29]是一个研究聚合器选择的著名框架，它证明了学习聚合器的性能优于更简单的聚合函数(例如取嵌入的均值)，因此可以创建更具区分性的、强大的顶点嵌入。不管聚合函数是什么，GraphSAGE的工作原理是基于邻域的中心点和聚合来计算嵌入(参见公式2)。通过包含中心顶点，它确保具有相近邻域的顶点具有不同的嵌入。GraphSAGE在公认的基准测试上的表现已经被其他框架超越，但该框架仍然具有竞争力，可以用于探索学习聚合器的概念(见4.3节)。

MPNN

另外，消息传递神经网络(MPNNs)使用依赖于源顶点、目标顶点和连接它们的边的消息函数计算顶点之间的方向性消息。MPNNs不像GraphSAGE那样聚合邻居的特征并将它们与中心点的特征连接起来，而是对传入的消息求和，并将结果与中心点的特征一起传递给读出函数(参见公式3)。在实践中，消息函数和读出函数都可以用简单的神经网络实现。这推广了方程1中概述的概念，并允许通过学习的函数识别更有意义的模式。

GCN

最流行的空间卷积方法之一是图卷积网络(GCN)，它通过求和从每个相邻顶点提取的特征，然后应用非线性来产生嵌入。这些方法是高度可扩展的，局部的，而且，它们可以“堆叠”在CGNN中产生层。这些特征中的每一个都是基于当前顶点和邻居顶点的相对邻域尺度进行归一化的，从而确保嵌入在前向传递期间不会产生梯度爆炸。

GAT

图注意力网络(GAT)扩展了GCN:它们不是使用邻居的大小来加权v𝑖到v𝑗的重要性，而是基于注意力机制的归一化乘积隐式计算这种权重[87]。在这种情况下，注意力机制依赖于两个顶点的嵌入及之间的边。顶点被约束为只能关注相邻的顶点，从而定位滤波器。GAT在训练过程中使用多头注意力和正则化保持稳定，被认为不如mpnn通用[88]。尽管GAT将注意力机制限制在直接邻域内，但不能保证对大图的可扩展性，因为注意力机制的计算复杂度随着所考虑的顶点数量的二次增长。

有趣的是，所有这些方法都考虑了来自直接邻域和之前嵌入的信息，以某种对称的方式聚合这些信息，应用学习到的权重来计算更复杂的特征，并以某种方式“激活”这些结果以产生捕捉非线性关系的嵌入。

谱域方法（谱域图卷积）

 在本节中，我们将讨论从图信号处理的角度发展起来的另一类卷积方法。这些方法很有吸引力，因为它们以卷积的形式化定义为基础，并且可以直接解释为图结构数据领域的信号处理技术。定义谱图卷积的路径由以下一系列语句描述。

1. 定义一个卷积操作是必要的
2. 从信号处理的角度来看，卷积的定义如式6所示。换句话说，它是反向和转换滤波器(𝑔(𝑡−𝑢))和输入函数(𝑓(𝑢))乘积的积分。要在图领域中定义这一点，需要为图定义一个转换操作。
3. 由Parseval定理，频域(频率空间)上的乘法对应于空间域(顶点空间)[52]上的平移。在图域中正式定义空间转换需要一种在顶点空间和频率空间之间转换图的方法。
4. 拉普拉斯算子的特征函数在频率空间中定义了一组基，因此需要一个图拉普拉斯算子的正式定义来发展谱图卷积。