Beyond Low-frequency Information in Graph Convolutional Networks

---

概述

图神经网络已被证明在各种与网络相关的任务中都是有效的。 现有的大多数GNN通常利用节点特征的低频信号，这引起了一个基本问题：在现实应用中，我们只需要低频信息吗？ 在本文中，我们首先进行了一项评估低频和高频信号作用的实验研究，结果清楚地表明，仅探索低频信号与在不同情况下学习有效的节点表示相距甚远。 我们如何能够自适应地学习GNN中低频信息以外的更多信息？ 好的答案可以帮助GNN增强适应性。我们解决了这一难题，并提出了一种具有自选通机制的新颖的频率自适应图卷积网络（FAGCN），该机制可以在消息传递过程中自适应地集成不同的信号。 为了更深入地了解，我们从理论上分析了低频信号和高频信号在学习节点表示中的作用，这进一步解释了FAGCN为什么可以在不同类型的网络上表现出色。 在六个真实世界网络上进行的大量实验证明，FAGCN不仅可以缓解过度平滑的问题，而且还具有优于最新技术的优势。

一、如何在GNNs中使用不同频率的信号，同时使GNNs适用于不同类型的网络？

GNNs中的低通滤波器主要保留节点特征的共性，不可避免的忽略了差异，从而使得所学的的嵌入节点变得相似，更易于作为分类网络。因此相似的节点会相互连接。比如在蛋白质软化作用中的化学相互反应发生在不同的氨基酸之间。通过低通滤波器来表示蛋白质之间的相似性往往很难对网络进行推理。从而导致过度平滑。
本文提出FAGCN的神经网络方式，首先考虑具有邻接矩阵A∈RN×N的无向图G =（V，E），其中| V | = NandE是一组边的节点集合。 归一化图Laplacianmatrix定义为L = In-D-1 / 2AD-1 / 2，其中D∈RN×Nis是对角度矩阵，其中Di，i = ∑jAi，jand表示恒等矩阵。 因为是真实的对称矩阵，所以它具有完整的正交特征向量{ul} nl =1∈Rn，每个特征向量都有对应的特征值λl∈[0,2]（Chung and Graham 1997）。 通过特征值和特征向量，我们有L =UΛU>，其中Λ= diag（[λ1，λ2，···，λn]）。

二、聚合方式

左图显示现有GNN考虑学习聚合中每个节点的重要性（αij）。 右边是FAGCN，它使用两个系数（αLij和αHij）分别汇总来自邻居的低频和高频信号。模型的输入是结点 H = {h1，h2，···，hN}∈RN×F，其中Fi是节点特征的维数。 出于频率适应的目的，一个基本思想是利用注意力机制来学习低频和高频信号的比例。

三、模型整体结构

首先使用多层感知器（MLP）将非线性变换应用于原始特征。 然后我们通过等式传播表示
为了有效地学习系数αGij，我们需要考虑节点本身及其邻居的特征。因此，我们提出了一种共享自选通机制RF×RF→R来学习系数

总结

关于过度平滑的问题解决

随着层数的增加，GCN的性能迅速下降，这表明GCN严重遭受过度平滑的困扰。 相反，在不同类型的网络上，FAGCN的结果是稳定的，并且显着高于GCN。 原因有两个方面：一是在第4.2节中，我们表明负权重可以防止节点表示过于相似，这有利于更深的网络体系结构。 另一个是我们在每层中添加了包含低频和高频信息的原始特征，这进一步防止了节点表示变得难以区分。 通过这两种设计，当模型深入时，FAGCN的性能明显优于GCN，这表明FAGCN具有良好的缓解过度平滑的能力。