Towards Evaluating the Robustness of Neural Networks详解

论文信息

题目：Towards Evaluating the Robustness of Neural Networks

作者：Nicholas Carlini, David Wagner

会议： ICLR (International Conference on Learning Representations)

单位：MIT-IBM Watson AI Lab, IBM Research

论文内容

关于JSMA中选择像素对来进行修改的方法，作者做出了不一样的解释：
假设softmax层最小的输入为-100，那么softmax层的对于该输入的输出为0，即使增加了10，由-100变成了-90，仍然为0，显然这对输出没有什么影响。而如果softmax层最大的输入为10，将其更改为了0，显然这会使得输出产生巨大的变化。而JSMA的攻击方式并不会考虑从0到10和从-100到-90的不同，他是一视同仁的。

而在蒸馏训练之后，会使得这样的不同放大。假设输出类向量为：[ -674.3225 , -371.59705 , -177.78831 , 562.87225 ,-1313.5781 , 998.18207 , -886.97107 , -511.58194 ,-126.719666, -43.129272]。要改变类别实际上只需要第四个数比第六个数大即可（即562增长，998下降）。但是JSMA会由于增长562会使得例如-1313,-886的数增加很多而放弃。这实际上是算法本身的问题。

要攻击防御性蒸馏模型实际上很简单，只需要不考虑这些其他的类向量值，只考虑需要超过的类向量和自身的类向量值即可，甚至可以只关注增加自身的类向量。

Nicholas Carlini和David Wagner提出了一系列能够改变类向量的目标函数：
$f_1\left(x^{\prime }\right)=-{\mathrm{loss}}_{F,t}\left(x^{\prime }\right)+1$
$f_2\left(x^{\prime }\right)={\left({\max }_{i\ne t}\left(F{\left(x^{\prime }\right)}_i\right)-F{\left(x^{\prime }\right)}_t\right)}^{+}$
$f_3\left(x^{\prime }\right)=\mathrm{softplus}\left({\max }_{i\ne t}\left(F{\left(x^{\prime }\right)}_i\right)-F{\left(x^{\prime }\right)}_t\right)-\log (2)$
$f_4\left(x^{\prime }\right)={\left(0.5-F{\left(x^{\prime }\right)}_t\right)}^{+}$
$f_5\left(x^{\prime }\right)=-\log \left(2F{\left(x^{\prime }\right)}_t-2\right)$
$f_{\delta }\left(x^{\prime }\right)={\left({\max }_{i\ne t}\left(Z{\left(x^{\prime }\right)}_i\right)-Z{\left(x^{\prime }\right)}_t\right)}^{+}$
$f_7\left(x^{\prime }\right)=\mathrm{softplus}\left({\max }_{i\ne t}Z{\left(x^{\prime }\right)}_i\right)-Z{\left(x^{\prime }\right)}_t)-\log (2)$
其中，$loss$就是xx的交叉熵损失函数，$t$是目标攻击类别，$softplus(x)=log(1+exp(x))$。$F(x)$是$softmax$层对于样本$x$的输出，$Z(x)$是logit层对于样本$x$的输出，也就是softmax层的输入

可以得到目标函数
$$\begin{array}{rl}& {\text{ minimize }}_{\mathbf{x}}{\Vert \mathbf{x}-{\mathbf{x}}_0\Vert }_2^2+c\cdot f(\mathbf{x},t)\\ & \text{ subject to }\mathbf{x}\in [0,1{]}^p\end{array}$$

为了保证输出能够产生一个合理的图像，需要0≤xi+δi≤1，这实际上被称为盒约束 (box constraints)。作者总结出了三种解决盒约束优化问题的方式：

• 投影梯度下降法，在执行标准梯度下降时执行，将所有坐标剪切到框内。然而这种方法对于具有复杂更新步骤的梯度下降方法（例如，具有动量的梯度下降），效果不佳：我们剪切真实的xi的同时，同时也修改了下一次迭代的输入，这并不是我们期望的
• 裁剪梯度下降法，与每一步迭代裁剪xx的值不同的，该方法将裁剪直接放入了优化目标，即用$f(min(max(x+\delta ,0),1))$代替原目标函数$f(x+\delta )$。但这显然会带来一个新的问题，就是卡在平坦区域，$x$卡在边界值动不了
• 改变变量，作者就采用的这种方法，即用新的变量$w$代替原先的$x$，即
  $${\delta }_i=\frac{1}{2}\left(\tanh \left(w_i\right)+1\right)-x_i$$

这样的改变使得优化问题变成以$w$为优化器的无约束最小化问题，并且可以将DNN的典型优化工具（即反向传播）用于求解最优w并获得相应的对抗性示例$x$
根据此，作者提出了三种范数约束求解的方法

• $L_2$ attack选择目标类别t
  $$\min {\Vert \frac{1}{2}(\tanh (w)+1)-x\Vert }_2^2+c\cdot f\left(\frac{1}{2}(\tanh (w)+1)\right)$$
  以上$f$定义为
  f ( x ′ ) = max ⁡ ( max ⁡ { Z ( x ′ ) i : i ≠ t } − Z ( x ′ ) t , − k ) f\left(x^{\prime}\right)=\max \left(\max \left\{Z\left(x^{\prime}\right)_{i}: i \neq t\right\}-Z\left(x^{\prime}\right)_{t},-k\right) f(x′)=max(max{Z(x′)i​:i​=t}−Z(x′)t​,−k)
  $Z(x^{\prime })$为logit输出，softmax输入，可以通过调整k来控制错误分类发生的置信度。 参数$k$鼓励求解器找到一个敌对的实例$x^{\prime }$，它将被高度置信地归类为$t$类。除此以外，作者还使用了多次随机初始化来减少陷入局部最优解的概率。 对于$L_2$攻击中常量c，作者提出：从很小的值，例如$10^{-4}$，开始，如果没找到就将c翻倍，直至找到或者达到最大值，例如$10^{10}$，如果找到就使用该c值。
• $L_0$ attack
  由于0-范数是不可微的因此不能使用标准的梯度下降法来进行求解，因此我们基于$L_2$ 攻击来生成$L_0$ 攻击。具体而言，就是先根据L2L2攻击生成扰动向量δδ，因此$x+\delta$就是一个对抗样本，我们计算$g=\nabla f(x+\delta )$，然后根据评估函数$g$选择像素$i=\arg {\min }_i{g}_i\cdot {\delta }_i$（gigi实际上评估的是像素$i$对于输出$f$的影响），然后固定像素$i$，再利用$L_2$ 攻击生成对抗样本，直至无法找到对抗样本为止。
• $L_{\infty }$ attack
  $$\min c\cdot f(x+\delta )+\Vert \delta {\Vert }_{\infty }$$
  我们可以很轻易的发现梯度下降法的效果并不理想（例如l_bfgs的无穷范数），这是由于${\delta }_{\infty }$只会惩罚向量中最大的那个元素，而对于其余元素没有任何影响。因此，梯度下降很快就会停滞在两个次优解之间。 考虑一个情况，其中$i=0.5$和$j=0.5-ϵ$。 $L_{\infty }$只会惩罚${\delta }_i$而不会惩罚${\delta }_j$。并且$\frac{\partial }{\partial {\delta }_j}\Vert \delta {\Vert }_{\infty }$在该点的值为0，因此梯度仍然会增大${\delta }_j$，尽管它已经很大。 因此在下一次迭代中，可能会移动到${\delta }_j$比${\delta }_i$略大的位置，比如$i=0.5-ϵ\prime$和$j=0.5+ϵ\prime$，这就可能陷入僵局。 换句话说，梯度下降可能在${\delta }_i={\delta }_j=0.5$的线上来回摆动

https://blog.csdn.net/kearney1995/article/details/79904095