论文-EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks

EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks

偶数网络:忽略奇跳邻居提高图神经网络的鲁棒性

摘要

图神经网络(GNNs)因其在图机器学习中的优异表现而受到广泛的研究关注。尽管它们具有非凡的预测精度，但现有的方法，如GCN和GPRGNN，在面对测试图的同质性变化时并不健壮，使得这些模型容易受到图结构攻击，并且在推广到不同同质性水平的图的能力有限。虽然已经提出了许多方法来提高GNN模型的鲁棒性，但这些技术大多局限于空间域，并采用复杂的防御机制，如学习新的图结构或计算边缘注意力。本文研究了在谱域中设计简单、鲁棒的GNN模型的问题。我们提出了一个对应于偶多项式图滤波器的谱GNN——EvenNe。基于我们在空间域和谱域的理论分析，我们证明了EvenNet在同构图和异质图的推广方面优于全阶模型，这意味着忽略奇跳邻居可以提高GNN的鲁棒性。我们在合成数据集和真实数据集上进行了实验，以证明EvenNet的有效性。值得注意的是，EvenNet在不引入额外计算成本的情况下优于现有的针对结构性攻击的防御模型，并在同质图和异质图上的传统节点分类任务中保持竞争力。我们的代码可在https://github.com/Leirunlin/EvenNet中获得。

1 引言

图神经网络(GNN)因其在图表示学习任务中的优异表现而获得了广泛的关注[11,17,22,32,34]。众所周知，GCN相当于一个低通滤波器[2,27]，它利用了同质假设，即“连接的节点更有可能具有相同的标签”作为归纳偏置。这种假设在异质性环境中不成立[44]，因为连接的节点往往有不同的标签，这鼓励了对异质性GNN的研究[1,28,44]。其中，具有可学习多项式滤波器的谱GNN [3, 10, 18]自适应地从训练图中学习合适的图滤波器，在同质图和异质图上都取得了很好的性能。如果训练图是异质的，则经验地得到一个高通或复合形图滤波器。
虽然GNN在图表示学习方面很强大，但最近的研究表明，它们很容易受到对抗性攻击，在对抗性攻击中，通过在受害者图上插入和移除边缘来干扰图结构，从而降低GNN的预测精度[45,37]。Zhu等[43]首先建立了图同质与结构攻击之间的关系。他们声称，现有的攻击机制倾向于向同质图引入异质性，这显著降低了具有低通滤波器的GNN的性能。一方面，人们多次尝试提高GNN对来自空间域的注入异质性的鲁棒性[13,20,35,40,42]。这些方法要么计算边缘注意力，要么学习具有节点特征的新图结构，在空间域中需要很高的计算成本。另一方面，尽管谱GNN在异质图上具有优势，但其在结构扰动下的性能也不尽人意，这引起了我们对现有谱方法鲁棒性研究的兴趣。
在本研究中，我们考虑了同质-异质归纳学习任务，它自然地模拟了非目标结构攻击。我们观察到，除了引入异质性外，结构攻击还扩大了训练图和测试图之间的同态差距，挑战了谱GNN在不同同态水平上的泛化。因此，尽管谱GNN(如GPRGNN)在异亲图上表现出色，但当训练图和测试图具有不同的同态性时，其泛化能力较差。例如，假设我们现在有两个如图1所示的友敌网络。如果朋友更有可能成为邻居，代表关系“喜欢”，网络是同性恋的。如果敌人形成更多与“仇恨”关系相对应的链接，这个网络就变成了异性恋。如果我们将在“喜欢”网络(获得低通滤波器)上训练的频谱GNN应用于“仇恨”网络，我们会在“仇恨”网络上将敌人误认为朋友。尽管谱GNN在逼近任意形状的最优图滤波器方面具有很强的能力，但由于对学习滤波器缺乏约束，使得它们难以泛化。
为了提高现有频谱方法对非目标结构对抗性攻击的性能，我们设计了一种新的频谱GNN，实现了跨同态的泛化。我们的贡献是：
1、我们提出了一个简单而有效的谱GNN，它可以推广到不同同态图。在平衡理论的启发下，EvenNet抛弃了来自奇阶邻居的消息，得到了一个只有偶阶项的图过滤器。我们在空间领域提供了详细的理论分析，以说明偶数网在推广到不同同态图方面的优势。
2、我们提出谱回归损失(SRL)来评估谱域特定图上图滤波器的性能。从理论上分析了图滤波器与图同态的关系，证实了具有对称约束的EvenNet在同态-异态归纳学习任务中具有更强的鲁棒性。
3、我们在合成数据集和真实数据集上进行全面的实验。实验结果验证了EvenNet在不引入额外计算复杂度的情况下泛化到不同同态测试图的优越性，同时在传统节点分类任务中保持了竞争力。

2 准备工作

3 所提方法：EvenNet

在本节中，我们首先介绍我们的动机和EvenNet的方法。然后，我们从空间和谱域的角度解释了EvenNet如何增强谱GNN的鲁棒性。

3.1 动机

重新考虑图1中的示例。在同亲图和异亲图上，节点之间的关系是相反的，在图结构的变化下，节点之间的关系是直接的，但不稳定的。无约束谱GNN倾向于过度使用这种不稳定的关系，并且不能在同态上进行推广。相反，一个健壮的模型应该依赖于比同态更一般的拓扑信息。
源于签名网络的平衡理论[6]提供了一个很好的视角：“我敌人的敌人就是我的朋友，我朋友的朋友也是我的朋友。”无论结构信息如何在图上显示，平衡理论始终是一个更普遍的定律。结果表明，将平衡理论引入图滤波器设计中，可以得到同态变化条件下的鲁棒谱GNN。

3.2 EvenNet

在实践中，我们解耦输入特征的变换和图滤波过程如下[10,23]。然后我们的模型采用简单的形式：

其中t是一个输入变换函数(例如MLP)， Z是输出节点表示，它可以馈入softmax激活函数用于节点分类任务的。

3.3 从空间域分析

根据定义，k-同质度反映了从其k-hop邻居中获得节点标签的平均可能性。在定义1中，我们证明了偶阶滤波器在同态变化下具有更低的变换同质度方差而不损失平均性能，从而获得更强的鲁棒性能。附录A.1提供了详细的证明，包括对多类案例的讨论。

3.4 从谱域分析

复杂度

相关工作

光谱GNN GNN在图表示学习任务中已经变得非常普遍。其中，谱GNN侧重于设计图滤波器，其滤波函数作用于图拉普拉斯算子的特征值[5]。图滤波器可以是固定的[22,23,34]，也可以用多项式近似。ChebNet[11]采用Chebyshev多项式实现更快的局域谱卷积。ARMA[3]使用自回归移动平均滤波器实现了更灵活的滤波器近似。GPRGNN[10]将图滤波与图扩散联系起来，直接学习多项式滤波器的系数。BernNet[18]利用Bernstein近似来学习任意滤波函数。虽然可学习图滤波器在异亲图上表现良好，但如果训练图和测试图之间存在同态差距，则难以泛化。
异构性的GNN 前人的研究指出了香草GCN在异交图上的缺陷。最近，人们提出了各种GNN来解决这个问题。Geom-GCN [28]使用一种新颖的邻域聚合方案来捕获远距离信息。Zhu等人[44]介绍了几种有助于GNN学习超越同质性的表示的设计。FAGCN[4]通过自门机制自适应地将不同频率的信号组合在消息传递中。虽然这些方法可以处理异亲图，但它们不能保证泛化到不同同态的图。
鲁棒GNN 在鲁棒GNNs设计领域，现有方法主要分为两大类：1) 使用新图结构的模型. GNN-Jaccard[35]和GNN-SVD[13]在应用vanilla GCN.ProGNN[20]之前对输入图进行预处理，共同学习到更好的图结构和鲁棒模型。2) 引起模型. RGCN[42]使用基于方差的关注来评估节点邻居的可信度。GNNGuard[40]采用邻居重要性估计，将得分较高的邻居与值得信赖的邻居对齐。TWIRLS[38]采用了一种受经典迭代方法PGD和IRLS启发的注意机制。这些方法对结构性攻击是有效的。然而，学习到的图结构不能应用于归纳学习设置，并且需要额外的内存。同时，基于注意力的模型受限于空间域，计算成本高。相反，EvenNet在不引入额外计算成本的情况下提高了谱GNN的鲁棒性。

5 实验

我们进行了三个实验来测试EvenNet在以下方面的能力:(1)在合成数据集上进行跨同态泛化，(2)防御非目标结构攻击，以及(3)在真实数据集上进行监督节点分类。

5.1 基线

我们将我们的EvenNet与以下方法进行比较。(1)仅利用节点特征的方法:2层MLP。(2)在同亲图上取得较好结果的方法:GCN [22]， GAT [32]， GCNII[7]。(3)处理异构性设置的方法:H2GCN[44]、FAGCN[4]、GPRGNN[10]。我们还在实验中引入了五种先进的对抗性攻击防御模型，包括RobustGCN[42]、GNN-SVD[13]、GNN-Jaccard[35]、GNNGuard[40]和ProGNN[20]。我们在PyTorch Geometric[14]和DeepRobust库[25]的帮助下实现了上述模型。关于超参数和网络架构的详细信息请参见附录C。

对合成数据集的评价

5.3 非目标结构对抗性攻击下的性能

数据集 对于对抗性攻击，我们使用了DeepRobust库[25]中的四个公共图，Cora, Citeseer, PubMed[30,39]和ACM[36]。我们使用与[45]相同的预处理方法和分割，将节点集分割为10%用于训练，10%用于验证，80%用于测试，并选择每个图中攻击的最大连接分量。
我们在附录G中包含了针对异亲数据集的非目标攻击的实验，其中我们使用了相同的预处理方法和密集分割，如下[10]

图2:DICE攻击、Metattack和MinMax攻击后Cora上的训练图和测试图的同态水平。所有的攻击都会导致训练图和测试图之间的同态差距。

攻击方法 图结构攻击可以分为毒化攻击和逃避攻击。在中毒攻击中，攻击模型被训练来降低代理GNN模型的性能。训练图和测试图都允许被扰动，但只有有限数量的修改，这被称为扰动比。逃避攻击只发生在推理过程中，这意味着gnn是在干净的图上训练的。在我们的研究中，我们包括了两种毒药攻击，Metattack (Meta)[45]和MinMax攻击[37]，GCN是代理模型，以及DICE攻击的逃避变体[33]。注意，我们主要关注修改攻击，这是严格意义上的结构性攻击。图注入攻击下gnn的讨论包含在附录F中。
对于中毒攻击，我们使用与[40]相同的设置，并将中毒攻击的摄动比设置为20%。对于规避DICE，我们在保持标记节点之间的图结构不变的情况下，在测试图上随机删除类内边和添加类间边。我们将DICE攻击的扰动比设置为4:4;0:8;1:2;1:6g。从图2可以看出，所有的攻击都会导致训练图和测试图之间出现同态间隙。除了1跳同质性差距外，在表2中，我们给出了摄动比为0.2的可学习攻击的2跳同质性变化。可以看出，两跳同态间隙相对小于一跳同态间隙，这与我们的分析一致，即偶数跳邻居之间的同态更鲁棒。

表2：在扰动比为20%的Meta/MinMax攻击后，训练图和测试图之间的同态差距。

结果 防御结果显示在表3和图3中。对于DICE攻击，除EvenNet外，所有方法的性能都随着同质性差的增加而显著下降。有趣的是，当同质性差距很大时，EvenNet的性能会反弹，这与我们的拓扑信息理论(强同质性)一致。和强壮的异性恋。都有助于预测)。对于中毒攻击，与先进的防御模型相比，EvenNet实现了SOTA。与空间防御模型不同，EvenNet没有引入额外的时间或空间复杂性。

5.4 真实世界图数据集上的性能

我们在真实世界的数据集上评估了EvenNet，以检查EvenNet在干净图上的性能。除了5.3节中使用的数据集，我们还包括四个公开的异性恋数据集:Actor、Cornell、Squirrel和Texas[28,29,31]。真实数据集的统计数据见表4。在节点分类任务中，我们将异构数据集转换为以下无向数据集[10]。

表3:在5个不同的分裂中，平均节点分类准确率(%)对抗非目标毒药攻击Metattack和MinMax攻击，扰动率为20%。最好的结果用粗体突出显示，第二好的结果用下划线突出显示。



对于所有数据集，我们采用与[28]相同的密集分割来执行全监督节点分类任务，其中节点集被分割为60%用于训练，20%用于验证，20%用于测试。

表4：真实世界数据集统计

结果如表5所示。虽然EvenNet为了鲁棒性牺牲了性能，但它在大多数数据集上仍然具有竞争力。

5.5 消融实验

为了分析在图过滤器中引入奇阶分量的效果，我们开发了EvenNet的正则化变体EvenReg。EvenReg采用全阶可学习图滤波器，将奇阶单项式的系数作为正则化项进行惩罚。则EvenReg的训练损失为：

表5:真实世界基准数据集超过10种不同分割的平均节点分类精度(%)。最好的结果用粗体突出显示，第二好的结果用下划线突出显示。


表6:EvenReg在合成cSBM数据集上10次重复实验的平均节点分类准确率(%)。

结论

在这项研究中，我们研究了当前GNN在同质性上的泛化能力。我们观察到，如果训练图和测试图之间存在较大的同态差距，所有现有的方法都会经历严重的性能下降。为了克服这一困难，我们提出了一种简单而有效的谱GNN EvenNet，它在图的同态变化下具有鲁棒性。我们提供了详细的理论分析来说明偶数网络在具有同态间隙的图之间的泛化方面的优势。我们在合成数据集和真实数据集上进行实验。实验结果验证了EvenNet在非目标结构攻击下的同态和防御的归纳学习优势，仅牺牲了少量的干净图预测精度。

原文：https://arxiv.org/pdf/2205.13892
代码：https://github.com/Leirunlin/EvenNet