[paper]Towards Evaluating the Robustness of Neural Networks(C&W)

本文提出了针对Denfensive distillation这种防御措施的C&W算法（基于三种不同距离的对抗样本生成算法），同时也具有一定的迁移性。
本文把构建对抗样本的过程转化为一个最优化问题：

其中$D$是衡量原始图像与对抗样本之间的距离, 三种不同距离分别为$L_0$范数$L_2$范数和$L_{\infty }$范数。
但由于$C(x+\delta )=t$这个问题很难直接求解，因此作者通过构造函数$f(x,t)$ 使得在$f(x,t)\le 0$时，此条件满足。
则问题转换为:
进一步可简化为：
本文给出了7种符合此条件的函数:

为了保证输出能够产生一个合理的图像，需要$0\le xi+\delta i\le 1$，这实际上被称为盒约束 (box constraints)。
本文提出了三种盒约束优化问题的解决方法：

• 投影梯度下降(Projected gradient descent):每实施一步梯度下降，就把计算结果限制在box内，这种方法对于具有复杂更新步骤的梯度下降方法（例如，具有动量的梯度下降）效果不太好，在剪切真实的$x_i$时也修改了下一次迭代的输入。
• 裁剪梯度下降法(Clipped gradient descent):与每一步迭代裁剪xx的值不同的，该方法将裁剪直接放入了优化目标，即用$f(min(max(x+\delta ,0),1))$代替原目标函数$f(x+\delta ))$。但这种方法，只是对目标函数进行了约束，可能会存在 $x_i+$