论文那些事——Boosting Adversarial Attacks with Momentum

第五篇Boosting Adversarial Attacks with Momentum(用动量增强对抗性攻击)

1、摘要（文章提出的背景、主要解决什么问题）

现有的方法比如FGSM和I-FGSM都容易陷入过拟合和局部最优的问题，并且移植性较差，对黑盒攻击的效率很低。本文提出一种广泛的基于动量的迭代算法来增强对抗性攻击，该方法可以在迭代过程中稳定更新方向并避免局部极大值，解决了对抗样本生成算法对于黑盒模型的低成功率问题。

文中提及到：

• 对抗样本的移植性是由于不同的模型在数据点周围学习到相似的决策边界这一特性导致的，使得同一对抗样本可以攻击不同模型。
• 以往的FGSM、I-FGSM得到的对抗样本移植性较差，对黑盒模型的攻击成功率都比较低。
• FGSM得到的对抗样本虽然迁移性不错，但对白盒模型的攻击成功率过低，使得基本无法攻击黑盒模型。
• 首次证明通过对抗训练获得的具有强大防御能力的模型也容易受到黑盒攻击。

2、解决方法

MI-FGSM算法：

       动量法是一种加速梯度下降算法的技术，通过在迭代过程中沿损失函数的梯度方向累积速度向量。记忆以前的梯度有助于通过狭窄的山谷，小驼峰和贫穷的地方极小值或极大值。动量法也显示了它在随机梯度下降中稳定更新的有效性。  

       该方法与I-FGSM的不同在于将公式sign的内容进行替换

 替换为动量公式  （6）                        

 三种算法生成对抗样本攻击效率对比图：FGSM、I-FGSM、MI-FGSM，模型分别是Inc-v3、Inc-v4、InvRes-v2和Res-152，功率是对应模型以对抗图像作为输入的误分类率。在所有实验中，最大扰动ϵ \epsilonϵ设为16，像素值为[0,255]。I-FGSM和MI-FGSM的迭代次数为10，衰减因子µ为1.0，其中添加了ens下标的模型表示经过对抗训练的模型，其具有更好的鲁棒性。

 为了以黑盒方式攻击对手训练过的模型，我们包使用了7个模型。同样地，保留一个对抗性训练的模型作为流出法目标模型，以黑盒子的方式评估性能，并攻击一个集合中的其余6个模型，其对数融合在一起，具有相等的集合权。扰动ǫ为16，衰减因子µ为1.0。我们比较了FGSM、I-FGSM和MI-FGSM 20次迭代的结果。结果发现经过对抗训练的模型也不能有效地防御我们的攻击。在NIPS 2017全方位攻击与防御比赛分为非目标对抗攻击、目标对抗攻击和防御对抗三个亚项。在非目标攻击和目标攻击两个方面都获得了第一名。

集成模型的解释：集成学习的主要思想是利用一定的手段学习出多个分类器，而且这多个分类器要求是弱分类器，然后将多个分类器进行组合公共预测。核心思想就是如何训练出多个弱分类器以及如何将这些弱分类器进行组合。

Boosting集成

 Boosting提供了预测模块的连续学习功能。第一个预测模块从整个数据集上学习，下一个预测模块在前一个的性能基础上在训练数据集上学习。首先对原始数据集进行分类，并给每个观测给予同样的权重。如果第一个学习模块错误预测了类，那么将会赋予错误分类观测较高的权重。这个过程将反复迭代，不断添加分类学习模块，直到达到模型数量或者某个准确度。

3、总结

本文提出一种新的基于动量的迭代方法来增强对敌攻击，经过与FGSM、I-FGSM对比实验，不管是在白盒攻击还是黑盒攻击下都展现了优越性。文中还解释了什么MI-FGSM具有更好的可移植性，研究了IFGSM和MI-FGSM在迭代过程中给出的更新方向。计算了两个连续扰动的余弦相似性，并在攻击Inc-v3时显示的结果来看。由于余弦相似度较大，MI-FGSM的更新方向比I-FGSM更稳定。