【Defence】HeteRobust | Heterophily-Robustness

KDD’22
paper
code

✍️ 把异配考虑到防御机制中，使得GNN更加鲁棒。

Abstract

本文通过形式化节点标签的异配性和GNNs对对抗攻击的鲁棒性之间的关系。
理论和实证分析表明，对于同配图数据，有影响力的结构攻击总是会导致同配率降低，而对于异配图数据，同配水平的变化取决于节点度。
These insights have practical implications for defending against attack:
用于自我（ego-）嵌入和邻居嵌入的单独聚合器也可以提升GNNs的鲁棒性。（be like接种疫苗）

ego graph指距离中心节点小于特定距离（特定路径长度）的所有结点构成的图，特定距离通常为1，即与中心节点直接有边连接。

Contributions:

1. Formalization: 通过理论和实证分析，将对抗性结构攻击与基础图中同配性水平的变化之间的关系形式化.
2. Heterophily-inspired Design: 本文展示了攻击和异质性之间的关系如何通过证明处理异质性的关键架构特征、自我和邻居嵌入的分离聚合器，也可以提高GNN对攻击的鲁棒性，从而激发更强大的GNN.
3. Extensive Empirical Analysis: 相比未调整的SOTA模型，这种heterophily-adjusted的GNNs的鲁棒性提高了11.1倍；再与其他vaccination机制相结合，在攻击下的准确率比未调整的模型高出18.33%.

下文提到，本文针对的是gray-box attack，即训练集已知，训练后的GNN $f$不被知道，因此攻击者考虑surrogate GNN. 有目标攻击损失采用CM-type: ${\mathcal{L}}_{atk}=-{\Delta }_c=-({\mathbf{z}}_{v,y_v}-{\max }_{y\ne y_v}{\mathbf{z}}_{v,y}),$ $\mathbf{z}$是预测节点$v$的标签.

在理论分析中主要考虑的是有目标逃逸攻击

Characterizing homophily and heterophily in graphs.

homophily ratio ℎ ≫ 1/|Y| as homophilous graphs (which have
been the focus in most prior works)

图异配性和模型鲁棒性的关系

在下面的定理中，我们使用了gambit节点的概念：如果以节点𝑣 ∈ V为目标的扰动调整了节点 𝑢 ∈ V的连通性，则节点u称为gambit.

• 定理1
  homophilous graphs: 对同配图的有效攻击必然会降低同配水平，但反之则不然：并非所有降低同配水平的扰动都是有效的攻击.（结构攻击大多是异配攻击）
• 定理2
  heterophilous graphs: 如果任一节点的度较低，则增加异质性的攻击仍然有效； 然而，如果两个节点的度$d$和$d_a$都很高，那么减少异质性的攻击将是有效的.（结构攻击是同配性还是异配性，取决于节点度）

通过简单的异配设计增强鲁棒性

针对异配数据有更好性能的GNNs是否对结构攻击也更加鲁棒呢？
关键设计：separate aggregators for ego- and neighbor-embeddings

• 定理3
  单独的聚合器和跳过连接
  
  ENC是非线性映射，AGGR1和AGGR2是独立的聚合器， 例如平均函数（GCN），注意力机制（GAT）或其他池化机制。
  AGGR1将skip connections引入到自我嵌入，进一步提高异配环境下的图神经网络的表示能力。

Experiments

在本实验中，本文使用每个目标节点 1 个扰动的预算，代理模型是Nettack的代理GCN。

下表提供了Nettack攻击的统计数据 ，重点是异配攻击的比率。其中，两种异配定义：一个基于ground-truth标签（Label.），另一个基于GCN在干净数据集上预测的类标签（Pred.）：

下表展示了在同时允许添加和删除以及只允许添加的边的随机化方案下，每个GNN模型的certifiable robustness的多个指标。
（不过，与经验稳健性评估一样，架构差异也会导致稳健性的一些变化；结果还显示了准确性和稳健性之间的权衡。作者发现可认证稳健性和经验稳健性的排名是不同的）

Conclusion

本文正式阐述了异配性与对抗性结构攻击之间的关系，并从理论和实证角度证明，在同配和异配图中，有效的攻击都倾向于通过利用低度邻居节点增加异配性。利用这些见解，本文证明了解决异配的关键设计，即自我嵌入和邻居嵌入的独立聚合器，可以在实验和可认证鲁棒性方面带来竞争性改进，对性能的影响很小。最后，将该设计于针对不同数据集的不同攻击场景下的先进疫苗接种机制进行了比较，结果表明它们是互补的，两者的结合可以产生更强大的GNN模型。虽然本文关注的是结构攻击，但GNN也容易受到其他类型的扰动，如特征扰动。希望本文的分析能够启发更有效的防御策略来抵御对抗性攻击，尤其是通过更好地处理异配问题（如节点特征中的异配或同配图中的局部异配）来提高鲁棒性的设计。