【图对抗】Local-Global Defense against Unsupervised Adversarial Attacks on Graphs

原文标题： Local-Global Defense against Unsupervised Adversarial Attacks on Graphs
原文代码： https://github.com/jindi-tju/ULGD/blob/main
发布年度： 2023
发布期刊： AAAI

---

摘要

Unsupervised pre-training algorithms for graph representation learning are vulnerable to adversarial attacks, such as first-order perturbations on graphs, which will have an impact on particular downstream applications. Designing an effective representation learning strategy against white-box attacks remains a crucial open topic. Prior research attempts to improve representation robustness by maximizing mutual information between the representation and the perturbed graph, which is sub-optimal because it does not adapt its defense techniques to the severity of the attack. To address this issue, we propose an unsupervised defense method that combines local and global defense to improve the robustness of representation. Note that we put forward the Perturbed Edges Harmfulness (PEH) metric to determine the riskiness of the attack. Thus, when the edges are attacked, the model can automatically identify the risk of attack. We present a method of attention-based protection against high-risk attacks that penalizes attention coefficients of perturbed edges to encoders. Extensive experiments demonstrate that our strategies can enhance the robustness of representation against various adversarial attacks on three benchmark graphs.

---

背景

尽管图上的预训练模型已经显示出令人鼓舞的结果，表明这些基于 GNN 的模型也更容易受到图的对抗性攻击。这会影响整个图的表示能力，进而将错误的表示传输到所有下游任务。即使是细微的扰动也会对学习的图表示产生相当大的影响，从而降低下游任务的性能。

目前的方法扰乱干净的图以改变其表示并攻击随后的下游任务。然而，大量研究已经证明，扰动边也会对表示造成不同程度的损害。而且扰动边产生的损伤程度主要取决于边缘的敏感性，对高敏感性边的少量扰动会显着降低模型的表示能力。现有的鲁棒 GNN 预训练模型忽略了敏感边缘保护的要求。图1（b）显示了传统的基于全局防御的鲁棒表示学习方法的分类精度随着扰动边缘比例的增加而降低的趋势。

因此，有两个问题需要解决：1）如何识别敏感边缘？ 2）如何保护敏感边缘免受有害攻击？

创新点

在本文中，首先提出扰动边缘危害性（PEH）来区分受攻击的边缘是否敏感；然后，使用基于信息论的测量来量化受攻击的边缘是否有害。接下来，设计了一种算法，结合局部敏感边缘防御和全局防御方法，从局部和全局角度提高表示的鲁棒性。
此外，本文专注于添加边缘而不是删除它们，因为添加边缘比删除边缘更有效，并且需要更多保护。在两个遥远的节点之间添加边将对图的结构产生重大影响，而删除边的节点可能通过高阶邻居连接。

Preliminaries

• 图表示学习 Graph Representation Learning
  用邻接矩阵 A表示边集 E，X表示特征矩阵。因此 G = (A, X) 表示该图。目标是学习编码器 e，它将输入节点映射到低维表示 z。

• 互信息 Mutual Information
  互信息 I (X; Y ) 是基于熵的变量 X 和 Y 之间相互依赖性的度量，并且可以解释为一旦变量 X 的值已知，另一个随机变量 Y 的不确定性降低程度。定义为： I