深入理解图（Graph）与图神经网络 （GNN）（其一）

尽管图神经网络在各个领域取得了令人瞩目的成功，并且最近的研究广度和深度令人难以置信，但公平地说，当前图深度学习方案的主要模型是通过消息传递的方式，沿着图的边传播节点信息。我相信正是这种"以节点和边为中心"的思维方式给该领域的未来发展带来了重大的障碍。以下是我对当前普通GNNs的一些主要限制的概述：

维斯费勒-莱曼类比（Weisfeiler-Lehman analogy）的局限性。适当选择本地聚合函数（如求和），使得消息传递等同于维斯费勒-莱曼图同构测试，使图神经网络能够从信息传播的方式中发现图的一些结构。这种与图论的重要联系产生了多个关于图神经网络表达能力的理论结果，确定了是否可以通过消息传递来计算图上的某些函数。然而，这种类型的结果通常无法告诉我们这种表示的效率如何（即需要多少层来计算函数），也无法告诉我们图神经网络的泛化能力如何。

[维斯费勒-莱曼（Weisfeiler-Lehman）类比是一种将图同构性测试应用于图神经网络的类比方法。维斯费勒-莱曼类比基于维斯费勒-莱曼算法，这是一种用于判定两个图是否同构的经典算法。在维斯费勒-莱曼算法中，通过迭代地标记每个节点的邻居并对其进行哈希操作，可以将图中的节点和边转化为一组标签。这个过程重复多次，直到所有节点的标签都稳定下来。最终得到的标签序列可以用来判断两个图是否同构。

在图神经网络中，维斯费勒-莱曼类比将每个节点的特征和邻居节点的特征进行聚合，并通过迭代地更新节点特征。这种消息传递的过程类似于维斯费勒-莱曼算法中的标记和哈希操作。通过适当选择本地聚合函数，如求和，可以使消息传递等效于维斯费勒-莱曼图同构测试。这意味着图神经网络可以从信息传播的方式中发现图的一些结构。

维斯费勒-莱曼类比提供了一种理论框架，可以将图神经网络的表达能力与图同构性测试联系起来，并研究图神经网络的表达能力和计算能力。这种类比为研究者们提供了一种方法来探索图神经网络的性质和限制，并推动了图神经网络领域的发展。]

Dominique Beaini提出了一个关于维斯费勒-莱曼测试的隐喻，将其比喻为在没有地图的情况下尝试通过走动来理解迷宫的结构。位置编码提供了迷宫的"地图"，而重连则提供了越过"墙壁"的梯子。

这个隐喻意味着维斯费勒-莱曼测试通过迭代地标记和哈希操作来获取节点和边的信息，类似于在迷宫中行走以了解其结构。位置编码则提供了迷宫的位置信息，类似于地图指引我们在迷宫中的位置。重连操作则相当于在迷宫中找到通道或梯子，使我们能够越过迷宫的"墙壁"，进一步探索和理解迷宫的结构。

这个隐喻形象地描述了维斯费勒-莱曼测试的过程和其在图神经网络中的作用。通过位置编码和重连操作，我们可以更好地理解和利用图的结构，从而推动图神经网络的性能和表达能力。

对于试图将消息传递神经网络应用于分子图的实践者来说，维斯费勒-莱曼算法无法检测到甚至简单的图结构（如三角形）的能力令人非常失望。在有机化学中，例如，环状结构非常常见，并且在分子的行为方式中起着重要的作用（例如，由于在具有强烈气味的化合物中如萘中的突出地位，芳香环被赋予了这个名字）。

这个观点指出，维斯费勒-莱曼算法在捕捉分子图中包含的特定结构时存在局限性。维斯费勒-莱曼算法更适合用于检测图同构性而不是特定的图结构。在有机化学中，环状结构和其他复杂的分子图特征对于理解分子性质和行为至关重要。然而，维斯费勒-莱曼算法的局限性可能导致对这些特征的识别和利用能力受限，从而限制了使用消息传递神经网络进行分子图分析的效果。

这个问题的存在促使研究人员寻求其他方法和改进，以克服维斯费勒-莱曼算法的限制，并在分子图分析中更好地捕捉复杂的结构。这些努力包括设计新的图神经网络模型、引入更复杂的聚合函数和注意力机制，以及结合其他技术和领域知识来提高分子图分析的能力。

 

上图是两个分子图的例子，分别是十六烷和二环戊基。这两个分子图在结构上是不同的（一个具有6环，另一个具有5环），但在维斯费勒-莱曼测试中无法区分它们。 因为维斯费勒-莱曼算法主要用于检测图同构性，而不是特定的图结构。尽管这些分子图具有不同的环结构，但由于维斯费勒-莱曼算法的限制，无法通过该算法来区分它们。

这个例子强调了维斯费勒-莱曼测试在处理具有复杂结构的分子图时的局限性。对于分析和比较这些分子的结构和性质，需要使用其他方法和技术，例如更高级的图神经网络模型或基于图的特征提取方法。这些方法能够更好地捕捉分子图的细节和结构差异，并提供更准确的分析和预测能力。

在过去几年中，已经提出了一些用于更具表达力的图神经网络模型的方法。其中包括在维斯费勒-莱曼层次结构中进行更高维的同构性测试（这会增加计算和内存复杂性，并且缺乏局部性）、将维斯费勒-莱曼测试应用于子图集合，或使用位置编码或结构编码来"着色"图的节点，从而帮助打破维斯费勒-莱曼算法中的规律性，以减少算法的误判。在这些方法中，位置编码是最常见的技术，它在Transformer中得到了广泛应用，现在在图神经网络中也普遍使用。

虽然存在多种位置编码方法，但可以说具体的选择取决于应用，并且是基于经验的。这些方法的目标是提高图神经网络的表达能力，以捕捉更复杂的图结构和特征。高维同构性测试、子图集合的维斯费勒-莱曼测试和位置编码等方法都旨在增强图神经网络对图的细节和结构的理解能力。这些技术提供了一种方式来克服维斯费勒-莱曼算法的限制，并提高图神经网络在处理各种应用领域的图数据时的效果。

然而，需要注意的是，选择适当的方法和技术仍然是一个挑战，因为不同的应用场景可能需要不同的模型和编码方式。因此，在实际应用中，需要根据具体问题和数据的特点来选择和调整这些方法，以获得最佳的性能和结果。

位置编码的示例如下，从左到右依次为：随机特征、拉普拉斯特征向量（类似于Transformer中使用的正弦函数）、结构特征（三角形和矩形的数量）。