关于EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples的理解

在本文中，作者基于之前的Carlini & Wagner攻击提出了一些新的改进，从而在确保攻击成功率的情况下，增强了攻击的可转移性。
  作者仍然沿用之前C&W攻击的目标函数$f(\boldsymbol{x},t)$：

$$\begin{equation}\nonumber f(\boldsymbol{x},t) = \max \{\max_{j \neq t}[Logit(\boldsymbol{x})]_j - [Logit(\boldsymbol{x})]_t,-k\} \end{equation}$$
在此基础上，与之前加入L1或者L2范数正则化项不同的是，作者提出加入弹性网络正则化项，即同时加入L1和L2范数正则化项，从而得出如下优化问题：
$$\begin{equation}\nonumber \begin{aligned} & \min_\boldsymbol{x} c \cdot f(\boldsymbol{x},t) + \beta ||\boldsymbol{x}-\boldsymbol{x}_0||_1 + ||\boldsymbol{x}-\boldsymbol{x}_0||_2^2 \\ & \text{s.t.} \quad \boldsymbol{x} \in [0,1]^p \end{aligned} \end{equation}$$
EAD公式旨在找到一个敌对的例子 $\boldsymbol{x}$，它将被归类为目标类别 $t$，同时最小化$\delta=\boldsymbol{x}-\boldsymbol{x}_0$在弹性净损失 $β||\boldsymbol{\delta}||_1 + ||\boldsymbol{\delta}||_2^2$，它是 $\boldsymbol{x}$和 $\boldsymbol{x}_0$之间的L1和L2失真度量的线性组合。值得注意的是，当 $\beta=0$时，C＆W的L2攻击的表述成为EAD公式的一个特例，它忽略了 $\boldsymbol{\delta}$上的L1惩罚。 然而，L1惩罚是一个直观的调整对抗样本生成1的手段，因为 $||\boldsymbol{\delta}||_1 = \sum_{i=1}^p |\boldsymbol{\delta}_i|$ 代表扰动的总变化量，也是促进扰动稀疏性的广泛使用的替代函数。 正如作者后面评估部分所表明的那样，包括扰动的L1惩罚确实产生了一组独特的对抗性例子，并且它导致了攻击转移能力的提高，并补充了对抗性学习。
  在C&W攻击中，他们使用了一种变量替代的方法 (change of variable, COV) 来消去约束条件，即：
$$\begin{equation}\nonumber \boldsymbol{x} = {1 \over 2} (tanh(\boldsymbol{x}_0)+1) \end{equation}$$ |
当 $\beta>0$时，我们发现相同的COV方法在求解EAD问题中不是有效的，因为相应的对抗样本对 $\beta$的变化不敏感。 由于L1惩罚是一个不可微的分段线性函数，因此COV方法的失败可以用它在基于梯度的优化问题中的低效性来解释。
因此作者提出使用ISTA(Iterative Shrinkage-Thresholding Algorithm)和FISTA(Fast Iterative Shrinkage-Thresholding Algorithm)求解该问题。
简单介绍一下ISTA和FISTA算法：
若函数 $f(x)$的梯度满足Lipschitz连续条件，即 $\nabla^2 f(x)$的的绝对值有上界，其最小上界称为Lipschitz常数 $L(f)$。这时，对于任意的 $L \ge L(f)$，有：
$$\begin{equation}\nonumber f(\boldsymbol{x}) \leq f(\boldsymbol{y}) + \langle \boldsymbol{x}-\boldsymbol{y},\nabla f(\boldsymbol{y}) \rangle + {L \over 2} ||\boldsymbol{x}-\boldsymbol{y}||^2 \end{equation}$$
因此对于如下的优化问题 $\min_x~F(x)=f(x)+g(x)$，其中 $f和g$都是凸函数，但是 $g$可能非光滑的情况下，我们可以改问题转化为(给定了点$\boldsymbol{y}$)：
$$\begin{equation}\nonumber Q_L(\boldsymbol{x},\boldsymbol{y})=f(\boldsymbol{y})+\langle \boldsymbol{x}-\boldsymbol{y},\nabla f(\boldsymbol{y}) \rangle + {L \over 2}||\boldsymbol{x}-\boldsymbol{y}{||}^2+ g(\boldsymbol{x}) \end{equation}$$
因此约减过后可以得到序列的迭代公式：
$$\begin{equation}\nonumber \begin{aligned} \boldsymbol{x}_{k+1} &= \arg\max_{\boldsymbol{x}} \Big\{g(\boldsymbol{x})+{L \over 2}||\boldsymbol{x}-\big(\boldsymbol{x}_k-{1 \over L} \nabla f(\boldsymbol{x}_k)\big){||}^2 \Big\} \\ &=p_L(x_{k}) \end{aligned} \end{equation}$$
其中 $L$起到了步长的作用，我们只需要选择一个比Lipschitz常数$L(f)$大的常数即可。实际上我们可以选择更好的 $L$来加快收敛速度（即回溯步型），详见这篇论文A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems，但是EAD这里并没有。但是和这篇论文一样，EAD也采用了一种加速的方式来加快收敛，实际上就是ISTA应用Nestrerov加速，Nestrerov加速的梯度下降法可以写为：
  1. $\xi_0=0$
  2. $\xi_k={1+\sqrt{1+4\xi_{k-1}^2} \over 2},\gamma_k = {1-\xi_{k-1}\over \xi_{k}}$,
  3. $y_k = x_{k-1} - t_k \nabla f(x_{k-1})$
  4. $x_k = (1-\gamma_k)y_k + \gamma_k y_{k-1}$
带入即可得到常数步型的FISTA：

我们进一步看一下这个 $p_L(y_k)$如何计算，我们对 $Q_L(\boldsymbol{x},\boldsymbol{x}_k)$求梯度，可以得到：
$$\begin{equation}\nonumber \nabla_\boldsymbol{x} Q_L(\boldsymbol{x},\boldsymbol{x}_k) = \nabla f(x_k) + L(\boldsymbol{x} - \boldsymbol{x}_k) + \nabla g(\boldsymbol{x}) = 0 \end{equation}$$
我们记 $\boldsymbol{z}_k = \boldsymbol{x}_k - {1 \over L} \nabla f(\boldsymbol{x}_k)$，并且根据问题，有 $g(\boldsymbol{x}) = \beta ||\boldsymbol{x}-\boldsymbol{x}_0{||}_1$，这是一个非光滑的函数，我们只能求次梯度。我们按每一个维度来求解：
$$\begin{equation}\nonumber \nabla_\boldsymbol{x} Q_L(\boldsymbol{x},\boldsymbol{x}_k)_i = \boldsymbol{x}_i - \boldsymbol{z}_{k,i} + {1 \over L} \beta (|\boldsymbol{x}_{i} - \boldsymbol{x}_{0,i}|)' \end{equation}$$
由于 $|x|$在0点的次导数（对于定义域中的任何 $x_0$，我们总可以作出一条直线，它通过点 $(x_0, f(x_0))$，并且要么接触f的图像，要么在它的下方。这条直线的斜率称为函数的次导数）是-1到1范围内的任意值，因此上式可以写成
$$\begin{equation}\nonumber \nabla_\boldsymbol{x} Q_L(\boldsymbol{x},\boldsymbol{x}_k)_i = \boldsymbol{x}_i - \boldsymbol{z}_{k,i} + {1 \over L} \left\{ \begin{aligned} &+\beta \quad when~\boldsymbol{x}_i > \boldsymbol{x}_{0,i} \\ & d \quad when~\boldsymbol{x}_i=\boldsymbol{x}_{0,i}~and~-\beta\leq d \leq \beta \\ & -\beta \quad when~\boldsymbol{x}_i < \boldsymbol{x}_{0,i} \end{aligned} \right. \end{equation}$$
所以当我们用新的 $\beta$来代替 $\beta \over L$时，只需要 $|\boldsymbol{x}_{0,i} - \boldsymbol{z}_{k,i}| \leq \beta$时，即有梯度为0。其余情况类似，就可以得到投影算子：
$$\begin{equation}\nonumber T_{\alpha}(x)_i = (|x_i| - \alpha)_{+}sgn(x_i) \end{equation}$$
应用到EAD中，就可以得到：
$$\begin{equation}\nonumber [S_{\beta}(\boldsymbol{z})]_i = \left\{ \begin{aligned} & \min\{\boldsymbol{z}_i - \beta,1\} \quad if~\boldsymbol{z}_i - \boldsymbol{x}_{0,i} > \beta \\ & \boldsymbol{x}_{0,i} \quad if~||\boldsymbol{z}_i - \boldsymbol{x}_{0,i}|| \leq \beta \\ & \max\{\boldsymbol{z}_i + \beta,0\} \quad if~\boldsymbol{z}_i - \boldsymbol{x}_{0,i} < -\beta \end{aligned} \right. \end{equation}$$
他们的实验也表明了该方法的攻击成功率并没有下降，并且L1,L2范数几乎没有变化，但是却有更好的可转移性。于此同时，也可以通过这个方法打破蒸馏防御。
顺带一提，一范数正则化的稀疏性也可以由此看出： $f(x)=c|x|$的绝对值的次导数为：
$$\begin{equation}\nonumber f'(x)= \left\{ \begin{aligned} & c \quad x>0 \\ & d \quad x=0~and~-c<d<c \\ & -c \quad x<0 \end{aligned} \right. \end{equation}$$
因此当 $c$在一定范围内时，如果足够大，只要$x$为0，以L1范数为惩罚项的目标函数的梯度就很容易（可能）为 0 0 <script type="math/tex" id="MathJax-Element-26816">0</script>。