Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-Smoothing

有序GNN：对消息传递进行有序化处理，以解决消息传递中的异构和过度平滑问题

【摘要】大多数图神经网络遵循消息传递机制。然而，当多次消息传递应用于图时，它面临过度平滑问题，导致不可区分的节点表示，并阻止模型有效地学习更远节点之间的依赖关系。另一方面，具有不同标签的相邻节点的特征可能被错误地混合，从而导致异质性问题。在这项工作中，我们建议将消息传递到节点表示中，特定的神经元块针对特定跳内的消息传递。这是通过将中心节点的根树的层次结构与其节点表示中的有序神经元对齐来实现的。在大量数据集上的实验结果表明，我们的模型可以同时在同质和异质环境中实现最先进的技术，而无需任何有针对性的设计。此外，当模型变得非常深时，它的性能保持得很好，有效地防止了过度平滑问题。最后，可视化门控向量表明，我们的模型在同质性和异质性设置之间学会了不同的行为，提供了一个可解释的图神经模型。

Introduction

图神经网络（GNN）已经成为学习图形表示的主要方法，例如社交网络，生物医学信息网络、通信网络，n-body系统等。大多数GNN依赖于消息传递机制来实现相邻节点之间的交互。尽管它取得了巨大的成功，但消息传递GNN仍然面临着两个根本但致命的缺点：（1）它不能推广到异质性，其中相邻节点共享不同的特征或标签，以及一个简单的多层感知器可以胜过许多GNN，这限制了GNN扩展到许多具有异质性的真实世界网络;（2）还观察到当堆叠多个层时节点表示变得不可区分，并且遭受急剧的性能下降，导致所谓的“过平滑”问题，这使得GNN无法有效利用高阶邻域信息。

为了解决这两个缺点，已经提出了多种方法。其中大多数集中在消息传递的聚合阶段。一些设计signed消息以区分属于不同类的邻居，使GNN能够捕获高频信号; Min等人设计了特定的滤波器来捕获带通信号;一些应用了具有强化学习的个性化聚合或神经结构搜索; 其他人试图不仅从直接邻居，而且从嵌入空间聚集消息或更高阶的邻居。这些聚合器的设计都取得了较好的性能，但它们主要集中在单轮消息传递过程，而忽略了多跳消息的集成。另一条线的工作重点是有效利用主要通过设计各种skip-gram来实现。除了关注模型方面，其他方法关注如何修改图结构。这些方法被称为“graph rewiring”，包括随机去除边缘或节点，或者用启发式算法计算新的图的报告。一般来说，这些算法是不可学习的，因此仅适用于某些图。

与以往的工作不同，本文通过设计消息传递的combine 阶段来解决这两个问题，并强调了该阶段的重要性，其核心思想是从根树层次结构中引入归纳偏差，让GNN在一定的阶数上对邻域信息进行精确编码，避免跳数内的特征混合。combine阶段以前很少被关注，大多数工作只是将其实现为自循环。这将导致节点特征的不合理混合。为了避免这种“混合”， Zhu等人（2020 b）将节点表示和聚合消息进行了串联，这已被确定为处理异质性的有效设计。然而，在保持嵌入维数在各层上恒定的情况下，局部信息将以指数速率被压缩。与我们最相关的工作是Gated GNN，它在combine阶段应用GRU并增强了表现力，但未能防止功能混合，限制了性能。

在本文中，我们以有序的形式给出了消息传递机制。也就是说，某个节点的节点嵌入中的神经元与该节点的根树中的层次结构对齐。在这里，节点的根树指的是以节点本身为根，其邻居为子节点的树。递归地，对于每个子节点，其子节点再次是子节点的相邻节点。（参见图1）。我们通过提出一种新的有序门控机制来实现对齐，该机制控制神经元的分配以编码具有不同深度的子树。在大量数据集上的实验结果表明，该模型可以同时缓解异质性和过度平滑问题。