对抗样本生成算法之C&W算法

论文 2017Oakland-Towards Evaluating the Robustness of Neural Networks.

论文背景

之前有人提出蒸馏网络，说是可以为目标网络模型提供很强的鲁棒性，能够把已出现的攻击的成功率从95%锐减到0.5%。作者提出了新的攻击方法，成功攻击了蒸馏网络。

蒸馏网络

蒸馏网络主要是通过梯度遮蔽的方式进行防御。它是一个知识提取的过程，首先训练得到一个老师模型，然后使用老师模型计算训练集里面所有样本的soft label，这里的soft label是指网络输出的各个类别的概率值（也就是softmax之后的输出结果），然后把这个softmax给的概率向量作为输入，训练学生模型，使其能够尽快学习到老师的能力，从而达到隐藏模型梯度信息的目的。但这种遮蔽是一种理想状态，无论遮蔽的效果多好，只要函数可导，就能得到梯度。

C&W算法原理

C&W算法是基于优化的攻击算法。创新点在于，设置了一个特殊的损失函数来衡量输入与输出之间的差异。这个损失函数含有可调节的超参数，以及可控制生成的对抗样本的置信度的参数。通过对这两个参数的选择合适的值，生成优秀的对抗样本。
根据范数的不同，C&W算法分为$L_0$、$L_2$和$L_{\infty }$。

-$L_2$：在修改的程度与数量之间达到平衡。

-$L_0$：一步步的找到那些对分类结果影响很小的像素点，然后固定这些像素点（因为改了它们也没有什么作用），直到无法再找到这样无影响的像素点了。剩下的像素点即为所需更改的点。
-$L_{\infty }$：限制了更改的程度