深入理解图（Graph）与图神经网络 （GNN）（其二）

图的重连破坏了GNN的理论基础。GNN和传统的CNN之间有一个重要且略微微妙的区别，那就是图既是输入的一部分，也是计算结构的一部分。传统的GNN使用输入图（Graph）来传播信息，从而获得反映图结构和特征的表示。然而，由于某些结构特性（"瓶颈"）的存在，有些图对信息传播不太友好，导致来自过多节点的信息被"挤压"到单个节点的表示中——这种现象被称为"过度压缩" 。

这种"过度压缩"现象可能导致信息丢失和模糊，从而影响模型的性能和表达能力。传统的GNN模型可能无法有效地处理具有复杂结构或高度连接的图，特别是当信息需要在整个图中传播时。这限制了GNN在某些情况下的适用性，并阻碍了模型的进一步发展。

为了克服这个问题，研究人员提出了一些解决方案，如图的重连。图的重连通过重新定义图的连接方式，改变信息传播的路径，从而缓解了"过度压缩"的问题。重连可以通过改变图的边连接、增加边的权重或调整图的拓扑结构来实现。这样的重连策略可以帮助信息在图中更好地传播，从而提高模型的表达能力和性能。 然而，图的重连也引入了新的挑战和问题。它破坏了传统GNN模型的理论基础，并需要重新考虑模型的设计和训练策略。此外，重连的选择和实施需要谨慎，并且需要基于具体的应用领域和任务需求进行调整和优化。

现代GNN的实现通过解耦输入图和计算图（或为计算目的而对其进行细化），采用一种称为"图重连"的技术来应对这种现象。重连可以采用邻域抽样（neighbourhood sampling）的形式（例如GraphSAGE 中所做的，最初是为了处理可扩展性问题），虚拟节点（virtual nodes） ，连接性扩散 （connectivity diffusion）或 进化 （evolution），或者 节点和边的丢弃机制（node- and edge-dropout mechanisms）。Transformer 和 基于注意力机制的GNN，如GAT ，通过为每个边分配不同的权重来有效地"学习"新的图结构，这也可以理解为一种"软"重连。最后，"潜在图学习"方法会在每一层中构建一个与特定任务相关的图，并对其进行更新 （可以从某种位置编码、初始图形或有时没有图形开始）。总的来说，可以说几乎没有现代GNN模型会在原始输入图上传播信息。

GNN中使用的不同图重连技术。从左到右：原始图、邻域跳采样（例如GraphSAGE）、注意力（例如GAT）和 连接性进化（connectivity evolution）（例如DIGL）。

然而，对于依赖于消息传递和维斯费勒-莱曼测试等价性的理论分析来说，这是一个不幸的消息。这种分析从信息在图上的传播方式中获得对图的描述。重连打破了这种理论上的联系，使我们处于机器学习中常见的情况之一：在理论上可以进行分析的模型与实际使用的模型不同。

尽管如此，重连技术在实际应用中具有很大的优势，可以提高模型的表达能力和性能。这种情况下，理论分析和实际应用之间存在一定的鸿沟，但我们可以通过实证研究和实践中的经验来理解和改进这些模型的性能。重连提供了一种灵活的方式来处理具有不同结构和特征的图数据，并允许我们构建更有效的模型来应对现实世界中的挑战。

因此，虽然重连打破了理论分析中的某些假设和推导，但它也为我们提供了更强大和适应性更强的工具来处理图数据。在实践中，我们可以根据具体任务和数据的特点选择合适的重连技术，并通过实验和经验来改进和优化模型。这种实证方法可以帮助我们更好地理解模型的行为，并为图深度学习领域的进一步发展提供指导。