【CV论文解读】AAAI2021 | 在图卷积网络中超越低频信息

论文解读者：北邮 GAMMA Lab 博士生  薄德瑜

题目： 在图卷积网络中超越低频信息

会议： AAAI 2021

论文链接： https://arxiv.org/abs/2101.00797

图神经网络已被证明在各种与网络相关的任务中都是有效的。现有的大多数图神经网络通常都利用节点特征中的低频信号，这引起了一个基本问题：在实际应用中，我们只需要低频信号吗？在本文中，我们首先进行了一项实验研究，评估了低频和高频信号的作用，结果清楚地表明，仅使用低频信号不能在不同情况下学习到有效的节点表示。如何能够自适应地学习图神经网络中低频信息以外的更多信息？一个好的回答可以帮助图神经网络增强适应性。为了解决这一挑战，并提出了一种具有自门控机制的新颖的频率自适应图卷积网络(Frequency Adaptation Graph Convolutional Networks, FAGCN)，该方法可以在消息传递过程中自适应地集成不同频率的信号。为了更深入地了解，我们从理论上分析了低频信号和高频信号在学习节点表示中的作用，这进一步解释了为什么频率自适应图卷积网络可以在不同类型的网络上表现良好。在六个真实世界的网络上进行的大量实验证明，频率自适应图卷积网络不仅可以缓解过度平滑的问题，而且还具有优于最新技术的优势。

1 引言

图神经网络通过聚集来自邻居的信息来更新节点表示，这可以看作是低通滤波器的一种特殊形式。最近的一些研究表明信号的平滑性，即低频信息，是图神经网络成功的关键。然而，我们所需要的只是低频信息吗？其他信息在图神经网络中扮演什么角色？这是一个基础问题，启发我们重新思考图神经网络在学习节点表示时是否能够全面利用节点特征信息。

图神经网络中的低通滤波器主要保留了节点特征的共性，这不可避免地忽略了节点特征的差异，使得相连节点的表示变得相似。由于低频信息的平滑性，这种机制可能适用于同配网络，即同一类的节点倾向于彼此连接。然而，现实世界中的网络并不总是同配的，有时是异配的，即不同类的节点往往相互连接。例如，在蛋白质-蛋白质相互作用网络中，化学反应经常发生在不同类型的蛋白质之间。如果我们通过使用低通滤波器强迫相邻节点的表征相似，显然，性能将受到很大的阻碍。

为了为上述分析提供更多的证据，我们以低频和高频信号为例，通过实验来评估它们的作用（详情见第2节）。结果表明，这两种方法都有助于学习节点表征。具体地说，我们发现当一个网络表现出异配性时，高频信号的表现要比低频信号好得多。这意味着，高频信号在图神经网络中不总是无用的；而低频信号对于复杂的网络来说也不是最优的。既然图神经网络中低频信息的缺点已经被确认，一个自然的问题就是如何在图神经网络中使用不同频率的信号，同时，让图神经网络能够适应不同类型的网络？

我们设计了一种通用的频率自适应图卷积网络，用于自适应地聚合来自邻居或自身的不同信号。我们首先利用图信号理论，形式化的定义了增强型低通和高通滤波器，用来将低频和高频信号从原始特征中分离出来。在此基础上，设计了一种在不需要知道网络类型的情况下，能够自适应融合低频信号、高频信号和原始特征的自门控机制。理论分析表明，频率自适应图卷积网络是现有图神经网络的一个推广，它能够自由地缩短或扩大节点表示之间的距离，这进一步解释了为什么频率自适应图卷积网络能够在不同类型网络上的表现良好。

2 探索研究

在本节中，我们以低频和高频信号为例，分析它们在学习节点表示中的作用。具体来说，我们生成了一系列合成网络，其特点是类内连接(intra-connection)的概率固定为0.05，同时类间连接(inter-connection)的概率逐渐从0.01增大到0.1。当类间连接的概率较小时，网络表现出同配性；随着类间连接概率的增加，网络逐渐呈现出异配性。然后我们测试了低频和高频信号的节点分类性能的变化情况，具体如下：

图(a)说明了随着类间连接概率的增加，低频信号的准确度降低，而高频信号的准确度逐渐提高。这说明低频和高频信号都有助于学习节点表示。当类间连接概率增大时，现有的图神经网络失败的原因，如图(b)所示，它们只聚合来自相邻节点的低频信号，使得节点表示变得相似，而不管节点是否属于同一类，从而失去了区分性。我们提出的频率自适应图卷积网络结合了低通和高通滤波器的优点，可以将同类邻居的低频信号和不同类邻居的高频信号进行聚合，如图(c)所示，从而在每个合成网络上都显示出最佳的性能。

3 方法

在介绍模型之前，我们首先比较已有图神经网络和频率自适应图卷积网络在聚合过程上的区别。下图左侧展示了已有的图神经网络在聚合中考虑了每个节点的重要性；右侧是频率自适应图卷积网络，它利用了两个系数 和 来分别聚合邻居的低频和高频信息。

为了充分利用节点特征中的低频和高频信号，我们设计了增强低通滤波器 和增强高通滤波器 ，将低频和高频信号从节点特征中分离出来：

的卷积核是 ，重写为 ； 的卷积核是 。其频率响应滤波函数如图所示：

可以看到，对于二阶低通滤波器 ，如图(b)所示，当 时，其滤波器响应函数 ，因此会为低频信号低通一个更强的增益；当 时， ，因此会抑制高频信号。二阶高通滤波器 ，如图(d)所示，会为高频信号提供更强的增益，同时抑制低频信号。

将滤波器 和 ，与特征矩阵 相乘，我们可以得到每个节点的低频和高频信息。然后利用一个门控机制来控制信息聚合过程中低频和高频信号的占比：

但是上式有两个缺点：一是低通滤波器 和高通滤波器 都依赖于拉普拉斯矩阵进行定义，所以只能做transductive模型；二是低频和高频信息的提取需要滤波器和特征矩阵相乘，计算开销太大。为了解决这两个问题，我们设计了空间域上的频率自适应网络，该模型既有归纳和批处理的能力，又有很好的可解释性：

右式可以分为两部分： 是节点 自身的特征； 是节点 邻居的特征，则 代表了邻居节点的权重。我们可以发现，如果假设低频和高频的比例和为1，即 ，则 我们如果令 ，当 时，低频信号会主导节点表征；而 时，高频信号的作用较大。此外，我们发现， （即聚合时边权重为正）代表了节点和其邻居的和； （即聚合时边权重为负）代表了节点和其邻居的差，在第4节我们会进一步分析边权重正负所带来的影响。最后我们用一个简单的方法来学习边权重：

tanh激活函数可以保证边权重在 之间。最后我们的模型框架可以形式化为以下公式：

4 理论分析

我们进一步分析了边权重正负会给学习节点表征带来什么样的影响。具体来说，如果用正权重聚合邻居信息，则节点和其邻居表征之间的距离会缩小（ ）；而用负权重聚合会使得节点和其邻居表征之间的距离变大（ ）。

5 实验

同配网络节点分类实验：

异配网络节点分类实验：

过平滑实验：最后我们还分析了FAGCN对于缓解过平滑也有一定的帮助，原因有两个：一是在第4节中，我们展示了负权重可以防止节点表示过于相似；另一种是我们将原始特征（包含低频和高频信息）添加到每一层，这进一步防止节点表示变得难以区分。

本期责任编辑：杨成

本期编辑：刘佳玮

---

北邮 GAMMA Lab 公众号

主编：石川

责任编辑：王啸、杨成

编辑：刘佳玮

副编辑：郝燕如，纪厚业

往期精彩回顾



适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑
本站知识星球“黄博的机器学习圈子”（92416895）
本站qq群704220115。
加入微信群请扫码：