论文《Graph Structural Attack by Perturbing Spectral Distance》笔记

【SPAC 2022 KDD】大多数现有攻击方法在空间域中操作图，而对傅里叶域中图卷积的脆弱性研究较少。作者提出了一种名为SPectral AttaCk（SPAC）的攻击方法，通过最大化谱距离来实施攻击，并提出了一种有效的近似方法来降低特征分解的时间复杂度。

发表在2022年KDD会议上，作者是University of Virginia的，引用量26。

KDD会议简介：全称Knowledge Discovery and Data Mining，知识发现和数据挖掘领域的顶级学术会议，CCF A。

查询会议：

• 会伴：https://www.myhuiban.com/
• CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

• paper原文：https://doi.org/10.1145/3534678.3539435
• 开源代码：None

 

0、核心内容

论文主要研究了GCNs在面对敌对攻击时的脆弱性，并提出了一种有效的图结构攻击方法，该方法通过在傅里叶域中扰乱图谱滤波器来破坏图信号处理的基础。

• 背景与动机：GCNs在图学习任务上表现出色，但研究表明它们容易受到敌对扰动的影响，这些扰动可能通过改变图结构或节点属性来误导模型生成错误的嵌入，从而影响下游任务的预测准确性。
• **图谱理论：论文基于图拉普拉斯矩阵的特征值来定义谱距离，以此衡量谱滤波器的扰乱程度。**图卷积作为GCNs的基础构建块，在傅里叶域中用于过滤图信号。
• 攻击方法：作者提出了一种名为SPectral AttaCk（SPAC）的攻击方法，通过最大化谱距离来实施攻击，并提出了一种有效的近似方法来降低特征分解的时间复杂度。
• 实验结果：实验表明，SPAC攻击在黑盒和白盒设置下对测试时逃避攻击和训练时投毒攻击都表现出显著的有效性。定性分析揭示了傅里叶域中谱变化与空间域中攻击行为之间的联系。
• 相关工作：论文回顾了图结构对抗性攻击的相关研究，指出大多数现有攻击方法在空间域中操作图，而对傅里叶域中图卷积的脆弱性研究较少。
• 理论基础：论文讨论了谱图理论中的一些基本概念，如归一化拉普拉斯矩阵、图傅里叶变换和谱图卷积。
• 谱攻击的实现：详细介绍了SPAC攻击的实现细节，包括如何通过梯度下降解决组合优化问题，以及如何通过随机采样策略生成有效的二元边扰动。
• 白盒设置中的扩展：论文还讨论了如何将SPAC攻击与白盒攻击框架结合，以同时最大化谱距离和任务特定的攻击目标。
• 讨论与未来工作：作者讨论了SPAC攻击基于谱滤波器变化的合理性，并提出了未来可能的研究方向，如控制图拉普拉斯矩阵的特征向量以提高攻击效果。

 

1、方法论（提取论文重点部分）

谱图卷积：

GCN：

谱距离的定义：

定义了一个扰动矩阵$B$，$B_{ij}$的值取0或1，表示是否扰动边$B_{ij}$：

SPAC攻击的定义：其实就是在约束扰动一定预算的边的数量的条件下，最大化谱距离。

公式(9)应该是本文的核心攻击思路，但是直接求解有两个挑战：① 这是一个约束矩阵$B$的组合优化问题；② 攻击目标涉及到了特征分解，非常耗时。

于是作者提出针对两个挑战的可行的解决办法：① 放宽组合问题，采用随机采样策略生成二元扰动矩阵$B$；② 引入一种近似策略，通过特征分解来降低反向传播的复杂性。

先看解决方法①：作者将需要得到的二元扰动矩阵$B$放宽至只需要得到一个矩阵$∆$，该矩阵的元素是0到1之间的实数（包括0到1），这样就将攻击目标变成了一个连续优化问题：

于是可以采用梯度下降法进行求导，从而得到最优解：

当然，这样得到的最优解$∆$中的元素还是小数，而不是0或1，所以需要采用一个随机采样策略，从矩阵$∆$生成矩阵$B$。随机采样方法如下，即对于矩阵$B$中的每个元素$B_{ij}$以${∆}_{ij}$的概率使$B_{ij}=1$，以$1-{∆}_{ij}$的概率使$B_{ij}=0$。

然后作者分析了SPAC攻击方法的时间复杂度，是$O(n^3)$数量级，于是采用近似策略进一步进行优化，从而使时间复杂度降低。

这里采用了两个近似策略进行优化：① 保留($k_1$个)最低频和($k_2$个)最高频的分量，从使需要计算的分量数从$n$到$(k_1+k_2)$，于是时间复杂度从$O(n^3)$到$O((k_1+k_2)\ast n^2)$数量级；② 避免计算已选择的特征值的频率，从而减少进行特征分解产生的时间开销。

采用近似策略①之后：

采用近似策略②之后：

以上两个近似策略得到的攻击算法称为SPAC-approx。

SPAC攻击算法总结（伪代码）：

 

2、实验部分

数据集：

平均运行时间：

攻击后的错分率：

在不同扰动率下不同攻击算法针对不同数据集的错分率：

 

3、参考资料

• kimi：https://kimi.moonshot.cn/

• 谱图理论与机器学习综述：Graph Signal Processing for Machine Learning: A Review and New Perspectives | IEEE Journals & Magazine | IEEE Xplore

• Spectral Graph Theory：Purple.pdf (uchicago.edu)

• Fan Chung 1997 Spectral Graph Theory：Spectral Graph Theory , by Fan Chung (ucsd.edu)