如何躲避针对后门攻击的检测

介绍

这次介绍的是一篇来自于EuroS&P-2020的文章，“Bypassing Backdoor Detection Algorithms in Deep Learning”

作者中有比较著名的大佬Reza Shokri。该工作主要针对Wang等人提出来的Neural Cleanse。

关于后门攻击，您可以参考我这篇文章。

关于Neural Cleanse，您可以参考我这篇文章。

开门见山

该工作主要是提出一种攻击，用来躲避后门检测的，针对Wang等人提出来的神经元裁剪方法，给出了一种攻击策略。

在先前的工作中，人们发现在正常样本的输入以及带有后门样本的输入下，神经元的表现是有差异的。根据这些差异，提出了一些基于神经元裁剪的策略来对后门攻击进行防御。

这篇工作的主要核心在于，去尽可能地使得后门样本和正常样本的差异变小。

如下图所示：

攻击者会训练一个判别器，去判别中间的特征表示是否来自于后门样本。

通过这种对抗性的设置，实现后门样本和正常样本的表现趋于一致，进而躲避掉防御。

误差的设置

最为核心的形式为两个部分组成，可以写成：
$$\mathcal{L}=\mathcal{L}(f_{\theta }(x),y)+{\mathcal{L}}_{rep}(z_{\theta }(x))$$
其中 $x$ 是输入，$y$ 是标签，$\theta$ 是网络的参数，$f_{\theta }(x)$ 是关于 $x$ 的类别预测输出，$z_{\theta }(x)$ 是 $x$ 的隐式表示 (或者称之为中间特征表示)，${\mathcal{L}}_{rep}(z_{\theta }(x))$ 是一个惩罚项，该惩罚项用来迫使模型对于正常样本和后门样本所表现差异变小。

我们的目标其实是，最小化正常样本和后门样本的神经元激活值，即：
$$\underset{\theta }{\min }|z_c^n-z_b^n|$$
其中 $z_c^n$ 代表着正常样本的第 $n$ 个神经元的激活值， $z_b^n$ 代表着后门样本的第 $n$ 个神经元的激活值。

注意到一个简单的不等式
$$|k{z}_c^n-k{z}_b^n|=k|z_c^n-z_b^n|\le |z_c^n-z_b^n|$$
满足 $0<k<1$ ，即我们只需要将神经元的激活值进行缩放即可，也就是我们的目标就是使得目标神经元的输出为原来的 $k$ 倍。

因此，我们的误差可以重新写成：
$$\mathcal{L}=\mathcal{L}(f_{{\theta }^{\prime }}(x),y)+\lambda {\mathcal{L}}_{rep}(z_{{\theta }^{\prime }}(x),z_{target}(x))$$
其中 $\lambda$ 是比例系数，${\theta }^{\prime }$ 是新模型的参数，$\theta$ 是原有的后门模型的参数。
$$z_{target}^n(x)=\{\begin{array}{ll}k\cdot z_{\theta }(x)& \text{if }n\in N_b\\ z_{\theta }(x)& \text{otherwise}\end{array}$$
其中 $N_b$ 是指后门样本下表现有差异性的神经元的集合。

文章的实际误差设置
$$\mathcal{L}=\mathcal{L}(f_{\theta }(x),y)-\lambda {\mathcal{L}}_D(D(z_{\theta }(x)),B(x))$$
其中 $D(z)$ 就是拿中间特征去判别是不是来自于后门向量 (即判别器会输出0到1的一个概率)
$$B(x)=\{\begin{array}{ll}1& \text{if }x\in X_b\\ 0& \text{otherwise}\end{array}$$
$B(x)$ 是标识着输入是否是带后门样本，是ground truth。

不得不吐槽，这里花了一大段进行形式化，但是实际用的loss却变成了判别器的交叉熵误差，也就是 ${\mathcal{L}}_D$

实验评估

如上图所示，可以看到在裁剪比率很大的时候，攻击的仍然能够保持足够高的成功率。