Link-Backdoor: Backdoor Attack on Link Prediction via Node Injection总结笔记

Link-Backdoor

• 发表期刊： ArXiv abs/2208.06776 (2022)
• 问题：链接预测对图中未发现的或潜在的链接能够进行推断，但关于链接预测的后门攻击未被探索。
• 基本思想：提出Link-Backdoor算法，将假节点与目标链接的节点组合在一起，形成一个触发器以误导链接预测错误。
• 技术路线：利用一个特殊的子图作为触发器，其中目标链接的两个节点是触发器的一部分，从而在触发器中将目标链接的节点考虑进来，使得触发器的特征能够进行传播。使用注入节点的方法形成触发器，并利用梯度信息优化触发器的结构和嵌入节点的特征，同时能够使得良性数据的修改最小化。进行后门模型训练时只使用具有少量触发器的训练数据，以减少对良正确分类性能的影响。

包括了白盒与黑盒情况

链接预测

给定图$G=(V,E)$ ，边集$E$ 被分为$E_o$ 与$E_u$ ，满足$E_o\cap E_u=\varnothing$ 且$E_o\cup E_u=E$ ，其中$E_o$ 指的是能够被观测的存在的边，$E_u$ 指将被预测的边集。

链接预测旨在根据节点集$V$ 和$E_o$ 中的信息预测缺失的边集$E_u$ ，其中链接预测的方法用$f_{\theta }$ 表示

链接预测的后门攻击

给定图$G$ 和目标链接$E_T$ ，后门攻击首先生成一个子图触发器$g=(A_g,X_g)$ ，并嵌入训练数据中，通过训练得到后门模型$f_{\hat{\theta }}$ 。在推理阶段，触发器$g$ 的存在会使得后门模型$f_{\hat{\theta }}$ 将目标链接$E_T$ 预测成攻击者选择的状态$\hat{T}$ ，同时在良性数据上仍能够保持正确的预测。

攻击者目标形式化为：

$$\begin{gathered} \{\begin{array}{l}{f}_{\hat{\theta }}(\hat{G},E_T)=\hat{T},\\ f_{\hat{\theta }}(G)=f_{\theta }(G),\end{array} \\ s.t.\hat{G}=M(G,g),|A_g|\le Q_A,|X_g|\le Q_X,\text{\hspace{1em}(1)} \end{gathered}$$
其中，$M(.)$是触发器混合函数，$Q$是触发器中最大的链接数量，$Q_A$和$Q_X$分别是触发器注入修改链接和节点特征最大的数量。

攻击者目的：

• 将目标链接错误分类为攻击者所选择的状态

• 保持后门模型在良性数据上（未注入触发器）的正确性

攻击者知识：

• 白盒攻击：能直接获取部分训练数据，并在训练阶段知晓目标模型的结构和参数

• 黑盒攻击：只能修改部分训练数据，不能获取目标模型结构和参数

触发器注入

向图中注入$m$个节点，并任意选择两个未链接的节点作为目标链接，形成触发器$g$，接着随机初始化触发器结构，用公式表示为$g=Ge{n}_g(G,m)$ ，$Ge{n}_g$为触发器生成函数，它将目标连接与注入节点连接起来。将触发器注入良性的图$G$后，获得后门图$\hat{G}=(\hat{A},\hat{X})$，可以被表示为：
$$\begin{gathered} \hat{G}=M(G,g), \\ s.t.|A_g|\le Q_A,|X_g|\le Q_X\text{\hspace{1em}(2)} \end{gathered}$$
其中，$M(.)$是触发器混合函数，将触发器$g(A_g,X_g)$注入给定的图$G$。

触发器优化

利用链路预测模型生成的梯度信息作为指导，优化触发器的结构和注入节点的特征。触发器分为两个阶段：梯度提取和触发器更新。

• 梯度提取
  给定预训练的目标链接预测模型$f_{\theta }$，将后门数据$\hat{G}$输入链接预测模型得到目标链接的预测结果。利用$L_2$距离衡量目标链接预测状态和攻击者选定状态之间的距离，得到目标损失函数，用公式表示为：
  $$L_{atk}=\frac{1}{N}\sum _{i=1}^N||f_{\theta }(\hat{G}-E_{T_n})-\hat{T}|{|}_2^2,\text{\hspace{1em}(3)}$$
  其中，$N$为目标链接的数量，$E_T$为目标链接。
  根据该损失函数，可以计算出它关于触发器$g$结构和特征的偏导数：
  $$\begin{gathered} gra{d}_{A_g}(i,j)=\frac{\partial L_{atk}}{\partial A_{\hat{g}}(i,j)}, \\ gra{d}_{X_g}(u,v)=\frac{\partial L_{atk}}{\partial X_g(u,v)},\text{\hspace{1em}(4)} \end{gathered}$$
  其中，$i,j$使触发器中的节点，至少有一个使注入的节点；$u$是一个注入节点，$v$是节点特征的维度。考虑无向图的邻接矩阵是对称的，可得到：
  $$gra{d}_{A_{\hat{g}}}(i,j)=\{\begin{array}{ll}\frac{gra{d}_{A_g}(i,j)+gra{d}_{A_g}(j,i)}{2}& i\ne j,\\ 0& i=j,\end{array}\text{\hspace{1em}(5)}$$
  将$gra{d}_{A_g}$视作触发器的链接梯度矩阵。

• 触发器更新
  在后门攻击过程中，需要最小化损失函数$L_{a}tk$，以使得模型预测结果接近攻击者选择的状态。正梯度值表示最小化目标损失的方向是减小该值，负梯度则需要增大。如果触发器中任意两个节点的梯度值为正，则删除触发器节点之间的链接，否则添加该节点对之间的链接。注入节点特征的优化类似于触发器结构的优化，它们的公式化表述为：
  $$\begin{gathered} A_g^{\ast }(i,j)=F(A_g(i,j)-sign(gar{d}_{A_{\hat{g}}}(i,j))), \\ {X}_g^{\ast }(u,v)=F(X_g(u,v)-\alpha \cdot sign(gra{d}_{X_g}(u,v))),\text{\hspace{1em}(6)} \end{gathered}$$
  $A_g^{\ast }$表示触发器优化后的结构，$X_g^{\ast }$表示触发器中注入节点的优化特征，$\alpha$为特征修改率，当节点的特征为$0$或$1$时。

$$F(x)=ReLU(x)-ReLU(x-1),\text{\hspace{1em}(7)}$$
防止最终结果超过$[0,1]$。

后门模型应用

• 白盒场景
  首先使用良性数据预训练链接预测模型$f_{\theta }$，它保证了链接预测模型对触发器的优化有正确反馈。其次，在图中选择$N$个目标链接，将触发器注入到目标链接中，将嵌入触发器的链路的预测状态修改为攻击者选择的状态$\hat{T}$。接着，利用链路预测模型生成的梯度信息优化触发器的结构和注入节点的特征，最后，让具有触发器的数据参与后门模型$f_{\hat{\theta }}$的训练。
• 黑盒场景
  与白盒场景不同的是，使用代理模型生成的梯度信息来优化触发器的结构和注入节点的特征，然后使用代理模型优化后的后门数据训练目标模型$f_{\hat{\theta }}$。

实验探究问题

1. 在白盒场景是否能达到SOTA攻击的性能？

2. 通过可转移中毒样本，在黑盒场景下能否成功实现攻击？

3. Link-Backdoor是否能保持隐蔽性？

4. Link-Backdoor是否在一定防御条件下正常工作？

5. 对特征尺度的修改如何影响Link-Backdoor？相应时间复杂度是多少？

6. Link-Backdoor能否攻击非GNN方法？

实验结果