Bandits for Structure Perturbation-based Black-box Attacks to Graph Neural Networks with Theoretical Guarantees(具有理论保证的基于结构扰动的图神经网络黑盒攻击的强盗算法)
本文研究了具有结构扰动的GNN的软标签黑盒攻击问题,但这种新的攻击设置更具有挑战性,本文寻找最优结构扰动本质上是一个NP-hard问题(就是二元优化问题),攻击者只能通过查询模型来获得预测。
具体实现:
- 第一步是在理论保证下解决基于结构扰动的gnn黑盒攻击问题。具体来说,我们首先将攻击重新定义为一个强盗优化(即强盗反馈在线优化)问题,该问题描述了攻击者在黑盒GNN模型上的查询过程,并捕获了未知梯度。
- 然后,我们处理离散结构扰动的二元约束,并将其集成到基于土匪的攻击目标中。
- 接下来,我们设计了一种高效有效的对gnn的在线攻击。
- 最后,我们从理论上分析我们的攻击。
Preliminaries and Problem Formulation
Problem formulation
目标节点v,标签,邻接向量.是v上的对抗性结构扰动。定义v的扰动邻接向量为:Cvu是修改v和u之间连接状态的代价。设L(av)为目标节点v未受攻击时的损失函数,对于对抗扰动sv,攻击损失为L(av⊕sv)。
本文采用CW攻击损失函数,攻击置信度是k。具体定义为:
基于 结构扰动的黑盒攻击GNN问题可以表述为:
其中,第一个约束意味着要扰动的边数不超过B,第二个约束意味着扰动的总代价不超过C
引理1:公式3是一个NP-hard问题
引理1也表明,在多项式时间内计算大图(即具有较大的维数时)下的最优扰动向量是困难的,为此,我们的目的是设计一个近似算法来导出次最优解。将组合二元约束松弛为凸包得到一个连续的优化问题。设为连续优化问题的接,我们可以通过使用像伯努利抽样那用的随机抽样将四舍五入到组合空间中导出等式3中原始问题的次最优解,
引理2表征期望中和的关系:
为了解决松弛连续优化问题,通常采用PGD,但是PGD需要梯度,在本文黑盒设置中,只有预测结果可以使用,而非确切的梯度,攻击问题变成了如何估计梯度,使PGD可以使用。本文的目的是使用controlling the exploration-exploitation tradeoff via bandit methods.
Reformulating our attack as a bandit problem
在bandit feedback下,攻击这想要最大化累计奖励。但由于攻击者在每一轮中都不知道最优臂的,因此会产生遗憾,即最优臂下的最大奖励与攻击者的攻击算法的奖励之间的差距。然后,攻击者的目标是尽量减少累积的遗憾。设Reg(T)为T轮累计后悔次数,为第T轮选取的扰动向量,
Structure Perturbation-based Black-Box Attacks to GNNs via Bandits
引理3可以推导出近似梯度
(对于从单位球s上均匀采样的单位向量u和一个足够小的>0,可以估计出梯度。)
算法:
算法解释:
在第1行中,设置0为初始先验向量
在第2-8行中,我们计算了一个亚最优的扰动矢量来攻击目标GNN。
在第t轮,我们从单位球S中随机选取一个单位向量作为行3中的随机梯度。
在第四行中,我们根据所选的随机梯度更新先验向量,推导出一个松弛扰动向量
第5行,将转换成二进制,采用的方法是将其top-B非零值(对应于中B最大非零概率的条目)设置为1,(从而在最多B条边上进行扰动),其余值设置为0.
在第6行中,我们使用查询GNN模型,并获得一个反馈
在第7行中,对arm W进行PGD,更新t+1轮的.
最后,经过T次查询,得到目标节点v的扰动向量
这种对节点分类的攻击可以扩展到用于图分类的GNN模型,在图分类模型中,他的输入是土地邻接矩阵,输出的是图的标签。在节点分类中,我们的目标是扰动目标节点的邻接向量,而在图分类中,我们扰动扰动邻接矩阵。