L0对抗攻击JSMA的算法盘点

©PaperWeekly 原创 · 作者｜孙裕道

学校｜北京邮电大学博士生

研究方向｜GAN图像生成、情绪对抗样本生成

引言

JSMA 是非常著名的对抗攻击，它第首次在对抗攻击中引入了 的度量方式， 度量本质上是限制输入图象中扰动像素点的个数。基于梯度和 GAN 的对抗攻击是基于全局性扰动，生成的对抗样本能够被人眼所察觉，而 JSMA 生成的对抗样本是基于点扰动，所以产生的对抗性扰动相对而言就会小很多。本文总结了三篇关于 JSMA 算法的论文，并详细扩展了论文中一些略去算法细节。这三篇论文分别是：

• The Limitations of Deep Learning in Adversarial Settings, 2016年

• Maximal Jacobian-based Saliency Map Attack, 2018年

• Probabilistic Jacobian-based Saliency Maps Attacks, 2020年

JSMA

论文标题：

The Limitations of Deep Learning in Adversarial Settings

论文链接：

http://arxiv.org/pdf/1511.07528

该论文中作者提出的概念 Adversarial Saliency Map 其实是扩展了深度神经网络模型可视化工具 Saliency Map。Adversarial Saliency Map 针对于白盒下的有目标攻击并指出了干净样本中哪些输入特征被干扰可以达到攻击效果。

本文中的 Adversarial Saliency Map 是基于神经网络前向求导得来。如果想要让神经网络分类器对干净样本 分类出错，出错的目标类别为 。一个直观的感觉就是必须增加 的概率，同时所有其他类的概率 减小。当像素点 增加是为了能够让 的概率值增大，则 是正数值，并且 为负数值或者是常数值。具体的公式如下所示（重新整理了JSMA中论文中的 (8) 公式）：

其中， 为通过增加像素点而获得的 Adversarial Saliency Map。

当像素点 减小时是为了能够让 的概率值增大，则 是负数值，并且 为正数值或者是常数值。具体的公式如下所示（重新整理了 JSMA 中论文中的(9)公式）：

其中， 为通过减少像素点而获得的 Adversarial Saliency Map。

结合公式（1）和公式（2）可知，不论是增加像素点还是减少像素点， 和