有关对抗攻击的论文整理

已于 2023-02-03 10:12:07 修改
阅读量630 收藏 11
点赞数 1
分类专栏： 对抗学习 文章标签： 深度学习
于 2020-11-10 18:56:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36488756/article/details/109190274
版权

对抗攻击

部分引用，如有侵权，告知删除。
个人理解，如有不对，欢迎指正。

对抗攻击的概念

通过故意对数据集中输入样本添加难以察觉的扰动使模型给出一个错误的输出。

对抗攻击原理

  1. 《Intriguing properties of neural networks》 （2013） [1]
    论文源址：http://de.arxiv.org/pdf/1312.6199
    参考笔记：https://zhuanlan.zhihu.com/p/217683614?utm_source=qq
    论文贡献：
    ①神经网络中携带语义信息的不是某单个神经元，而是整个网络（或者说那一层）所表示的空间
    ②深度神经网络模型的非线性导致的输入与输出映射的不连续性，加上不充分的模型平均和不充分的正则化导致的过拟合使得对抗攻击成为可能。
    ③采用了L-BFGS生成对抗样本的一个近似值
    ④提出将对抗样本加入训练集能提高模型鲁棒性

  2. 《Explaining And Harnessing Adversarial Examples》 (2014) [2]
    论文源址：http://de.arxiv.org/pdf/1412.6572
    参考笔记：https://zhuanlan.zhihu.com/p/33875223
    论文贡献：
    ①高维空间中的线性就足以造成对抗样本，深度模型对对抗样本的脆弱性最主要的还是由于其线性部分的存在。通过将模型转变成非线性的RBF模型，能减少神经网络模型对对抗攻击的脆弱性。
    ②提出快速梯度符号法(FGSM)生成对抗样本
    ③基于快速梯度符号法对目标函数进行改进可以起到很好的正则化效果

对抗攻击方法

基于目标模型损失函数

  1. L-BFGS
    相关论文：《Intriguing properties of neural networks》 （2013） [1]
    参考笔记：https://zhuanlan.zhihu.com/p/217683614?utm_source=qq
    算法核心：通过拟牛顿优化算法L-BFGS 在盒约束下 最小化 扰动r 和 加入扰动r后在攻击的目标分类l上的损失函数 生成 近似最小扰动
    在这里插入图片描述
  2. ①FGSM ——> ②IFGSM(也叫BIM) 、ILCM ——> ③R+FGSM
    相关论文： ①《Explaining And Harnessing Adversarial Examples》 (2014) [2]
    ②《Adversarial examples in the physical world》（2016）
    ③《Ensemble Adversarial Training: Attacks and Defenses》 (2017)
    论文源址： ①http://de.arxiv.org/pdf/1412.6572
    ②http://arxiv.org/pdf/1607.02533
    ③https://openreview.net/pdf?id=rkZvSe-RZ
    参考笔记： ①https://zhuanlan.zhihu.com/p/33875223：
    ②https://www.jianshu.com/p/2f3b15617236
    ③https://www.cnblogs.com/gris3/p/12688506.html
    我的笔记：快速梯度符号法（FGSM）及其改进

算法核心：
FGSM:在 损失函数增大的梯度方向sign(▽J(θ,x,y))上增加 一定的(由ε控制） 扰动ŋ
在这里插入图片描述
IFGSM：分多步迭代生成对抗样本，攻击效果更好，扰动更小
在这里插入图片描述
R+FGSM:作者通过用单步攻击的输出替换内置最大化问题的解来近似方程式,生成对抗样本的计算开销更小，可以拓展到大型数据集用于对抗训练
在这里插入图片描述

  1. C&W（The Carlini and Wagner）
    相关论文：《Towards evaluating the robustness of neural networks》（2017.3）
    论文源址：http://arxiv.org/abs/1608.04644v1
    相关代码：https://github.com/carlini/nn_robust_attacks
    参考笔记：https://zhuanlan.zhihu.com/p/266726084
    算法核心：提出一种新的损失函数和数据截断处理，转换为盒约束最小优化问题

基于目标模型网络结构

  1. JSMA（Jacobian Saliency Map Attack）
    相关论文：《The limitations of deep learning in adversarial settings》（2015）
    论文源址：http://lanl.arxiv.org/pdf/1511.07528.pdf
    参考笔记：https://blog.csdn.net/qq_36415775/article/details/89205794
    相关代码：https://github.com/gongzhitaao/tensorflow-adversarial/tree/master/example
    算法核心：利用雅可比显著图，迭代地对网络结构前向导数最大的像素点添加扰动 （导数越大，y值变化越大）

  2. DeepFool ——> Universal Adversarial Perturbations
    相关论文： 《DeepFool: a simple and accurate method to fool deep neural networks》 （2016_CVPR）
    《Universal Adversarial Perturbations》 （2017_IEEE）
    论文源址： DeepFool： https://www.cv-foundation.org/openaccess/content_cvpr_2016/app/S12-10.pdf
    Universal Adversarial Perturbations ： https://arxiv.org/pdf/1610.08401v3.pdf
    参考笔记：https://www.dazhuanlan.com/2019/12/09/5dee1b61a6844/
    相关代码：https://github.com/LTS4/universal
    算法核心：
    DeepFool：通过计算 样本离分类超平面的最小距离 生成最小扰动
    在这里插入图片描述
    Universal Adversarial Perturbations：通过多次累加扰动，找到普适性（可以扰动多种图片）更强的扰动
    Universal Adversarial Perturbations

  3. One Pixel Attack
    相关论文：《One Pixel Attack for Fooling Deep Neural Networks》 （2017）
    论文源址：https://arxiv.org/abs/1710.08864
    相关代码: https://github.com/Hyperparticle/one-pixel-attack-keras
    参考笔记：
    算法核心：通过差分进化优化算法 限制可改像素点个数 最大化对抗样本被分为对抗标签的概率 生成扰动e(x)
    在这里插入图片描述

  4. DR
    相关论文：《Enhancing Cross-Task Black-Box Transferability of Adversarial Exampleswith Dispersion Reduction》 (2020)
    论文源址：https://link.zhihu.com/?target=http%3A//openaccess.thecvf.com/content_CVPR_2020/papers/Lu_Enhancing_Cross-Task_Black-Box_Transferability_of_Adversarial_Examples_With_Dispersion_Reduction_CVPR_2020_paper.pdf
    相关代码：https://github.com/erbloo/dr_cvpr20

基于目标模型预测分数

  1. Zoo (2017)
    相关论文：《ZOO: Zeroth Order Optimization Based Black-box Attacks to Deep Neural Networks without Training Substitute Models》
    论文源址：https://dl.acm.org/doi/pdf/10.1145/3128572.3140448
    参考笔记：https://blog.csdn.net/weixin_43916250/article/details/102940739

  2. 《Black-box adversarial attacks with limited queries and information》 (2018)

  3. 《Simple black-box adversarial attacks》 (2019)

基于目标模型预测决策

  1. Boundary Attack
    相关论文：《Decision-Based Adversarial Attacks: Reliable Attacks Against Black-Box Machi》 (2018)
    论文源址：https://arxiv.org/pdf/1712.04248.pdf
    相关代码：https://github.com/greentfrapp/boundary-attack
    参考笔记：https://zhuanlan.zhihu.com/p/67320040
    算法核心：①对抗样本初始化：无目标攻击随机初始化，有目标攻击初始化为目标类图像
    ②样本由初始化逐渐向原始样本靠近
    Boundary Attack

无需

训练替代模型

  1. 《Practical black-box attacks against machine learning》 (2017)
    利用大量图像模拟受攻击模型的输出以获得替代网络

  2. 《Knockoff nets: Stealing functionality of black-box models》 (2019)

  3. DaST
    相关论文：《DaST: Data-free Substitute Training for Adversarial Attacks》 (2020)
    论文源址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Zhou_DaST_Data-Free_Substitute_Training_for_Adversarial_Attacks_CVPR_2020_paper.pdf
    相关代码：https://github.com/zhoumingyi/DaST
    参考笔记：
    算法核心：利用GAN训练替代模型

对抗攻击防御

  1. 对抗训练(Adversarial Training)：
    防卫者通过自己构造对抗攻击，并且将人为增加扰动的对抗样本也加入到训练数据中，从而增强训练集，让训练后得到的模型更加稳定。
    相关论文：
    ①《Intriguing properties of neural networks》（2014）

②《Ensemble Adversarial Training: Attacks and Defenses》 (2017) ：提出集成对抗训练
参考笔记：https://www.cnblogs.com/gris3/p/12688506.html

③《Adversarial machine learning at scale》 (2017)
对该方法提出的质疑：
《Towards deep learning models resistant to adversarial attacks 》 (2018)
提到对抗训练用比较弱的攻击时，往往并没有增加模型对更强的攻击的鲁棒性。

  1. 对抗样本检测
    相关论文：
    ①《Early methods for detecting adversarial images》（2017）
    ②《Feature Squeezing Mitigates and Detects Carlini/Wagner Adversarial Examples》 （2017）
    ③《Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks》 (2018)
    《On detecting adversarial perturbations》
    《On the (statistical) detection of adversarial examples》
    论文源址：①https://openreview.net/pdf?id=B1dexpDug
    ②https://arxiv.org/pdf/1705.10686.pdf
    我的笔记：①https://blog.csdn.net/qq_36488756/article/details/109320697
    相关代码：①https://github.com/hendrycks/fooling
    对该方法提出的质疑：
    ①《Adversarial Examples Are Not Easily Detected: Bypassing Ten Detection Methods》 （2017）
    论文源址：http://arxiv.org/pdf/1705.07263

  2. 对抗样本还原、去噪
    相关论文：
    ①《Defense against Adversarial Attacks Using High-Level Representation Guided Denoiser》
    论文源址：http://arxiv.org/pdf/1712.02976
    ②《ComDefend: An Efficient Image Compression Model to Defend Adversarial Examples》

  3. 梯度隐蔽
    蒸馏：
    相关论文
    ①《Distillation as a defense to adversarial perturbations against deep neural networks》（2016.3）
    这个方法通过两个步骤完成对模型稳定性的提升：第一步是训练分类模型，其最后一层的softmax层除以一个常数T；第二步是用同样的输入训练第二个模型，但是训练数据的标签不用原始标签，而是用第一步中训练的模型最后一层的概率向量作为最后softmax层的目标。
    ②《Extending Defensive Distillation》（2017.5）

对该方法提出的质疑：
《Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples》
该论文中提到 发现了一种「混淆梯度」（obfuscated gradient）现象，它给对抗样本的防御带来虚假的安全感。在案例研究中，试验了 ICLR 2018 接收的 8 篇论文，发现混淆梯度是一种常见现象，其中有 7 篇论文依赖于混淆梯度，并被的这一新型攻击技术成功攻克。

  1. Detection systems: （在目的网络模型前面增加一个额外的探测系统，判断输入是否是经过人为扰动的对抗样本）
    ①Performe statistical tests:《On the (statistical) detection of adversarial examples》（2017.2）
    ②Use an additional model for detection:《Adversarial and clean data are not twins》（2017.4）
    ③《On detecting adversarial perturbations》（2017.2）
    ④Apply dropout at test time:《Detecting adversarial samples from artifacts》（2017.3）

  2. 预处理
    ①添加随机化层：《Mitigating Adversarial Effects Through Randomization》 （2017）
    《Magnet: a two-pronged defense against adversarial examples》

  3. 利用GAN
    ①Generative Adversarial Networks (GAN):《Generative Adversarial Trainer Defense to Adversarial Perturbations with GAN》（2017.5）
    ②《AE-GAN: adversarial eliminating with GAN》（2017.7）
    论文笔记：（https://www.zybuluo.com/wuxin1994/note/881171）
    ③《Efficient Defenses Against Adversarial Attacks》（2017.7）
    论文笔记：(https://www.zybuluo.com/wuxin1994/note/863551)

对抗攻击实例

  1. 对抗图像补丁
    相关论文：《Adversarial Patch》
    论文源址：https://link.zhihu.com/?target=http%3A//arxiv.org/abs/1712.09665
    论文贡献：提出一种在现实世界中创建通用的、健壮的、有针对性的对抗图像补丁的方法

  2. 对象识别
    相关论文：《Robust Physical Adversarial Attack on Faster R-CNN Object Detector》
    论文源址：https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1804.05810

  3. 《Accessorize to a crime: Real and stealthy attacks on state-of-the-art face recognition》（2016.10）
    面部识别：

  4. 《Adversarial examples in the physical world》（2017.2）
    实际拍照图片：
    这篇文章是在实际应用中，对抗攻击往往不能将数字化的对抗样本作为目的分类器的输入，只能将对抗样本打印到纸张上，然后用拍照之类的方式得到目的网络的输入时，人为添加的扰动比较小，在拍照过程中产生了失真，不能达到攻击目的。

  5. 《Robust Physical-World Attacks on Machine Learning Models》（2017.7）

  6. 《Note on Attacking Object Detectors with Adversarial Stickers》

  7. 《Concrete Problems for Autonomous Vehicle Safety: Advantages of Bayesian Deep Learning》（2017）

自动汽车：

  1. 《Adversarial Perturbations Against Deep Neural Networks for Malware Classification》（2016.6）

论文笔记：(https://www.zybuluo.com/wuxin1994/note/854417)

  1. 《Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN》（2017.5）

论文笔记：（https://www.zybuluo.com/wuxin1994/note/867495）

  1. 《Synthesizing Robust Adversarial Examples》

  2. 行人再识别系统（re-ID):《Transferable, Controllable, and Inconspicuous Adversarial Attacks on Person Re-identification With D》
    提出一个学习误排序公式来干扰系统输出的排名，来检验目前表现最好的ReID模型的不安全性

[1]: Szegedy C, Zaremba W, Sutskever I, et al. Intriguing properties of neural networks. arXiv preprint arXiv:1312.6199, 2013.
[2]: Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy. “Explaining and harnessing adversarial examples.” arXiv preprint arXiv:1412.6572 (2014).

qq_36488756
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
文本对抗领域64篇必看论文
05-09
文本对抗领域所有的64篇论文，对抗和防御都有，谢谢大家
AAAI 2021上与【对抗攻击（Adversarial Attack）】相关的论文（六篇）
02-28
基于对抗攻击（Adversarial Attack）相关的接受paper不少，这几年比如 对抗攻击、基于图数据的对抗攻击、NLP、CV上的攻击防御等等一些列前沿的方法和应用受到了很多人的关注，也是当前比较火的topic。
【开源实验】模型窃取（KnockoffNet）
最新发布
Glass_Gun的博客
06-17 329
使用KnockoffNet方法对预训练的Resnet50模型进行模型窃取攻击（model stealing attack）
对抗攻击论文阅读
qq_37972486的博客
04-30 233
Adversarial Examples Improve Image Recognition
【对抗攻击论文笔记】Enhancing the Transferability of Adversarial Attacks through Variance Tuning
ji_meng的博客
07-19 1554
本文提出了一种基于**方差调整迭代梯度的方法**来增强生成对抗样本的可迁移性。具体来说，在梯度计算的每一次迭代中，不再直接使用当前梯度进行动量积累，而是进一步考虑前一次迭代的梯度方差来调整当前梯度。关键思想在于每次迭代中**减小梯度的方差，从而稳定更新方向**，这样才能避免局部最优。...
【对抗攻击论文笔记】Decision-Based Adversarial Attack With Frequency Mixup
ji_meng的博客
05-11 1570
今天分享的论文是来自IEEE的 Decision-Based Adversarial Attack With Frequency Mixup，首先来看一下这篇论文的motivation 先来做个简单介绍吧，我们常说的对抗攻击分为黑盒攻击和白盒攻击，黑盒攻击可以分为基于迁移的攻击，和基于查询的攻击。基于查询的攻击一般依赖于替代模型，并且需要访问训练数据。基于查询的攻击还可以进一步分为基于分数的攻击和基于决策的攻击。在给定输入的情况下，目标模型计算每个可用类别的概率，并将概率最高的类别(即TOP-1概率)作为最
对抗攻击算法总结论文集合（白盒、黑盒、目标检测、对抗训练等）
热门推荐
ji_meng的博客
04-09 2万+
文章目录一、白盒攻击1.FGSM2.JSMA：3.DeepFool：4.CW：5.PGD:二、黑盒攻击1.单像素攻击2.基于查询3.基于迁移4.基于替代5.其他三、对抗攻击与目标检测四、对抗训练&鲁棒性 只是一个自己看过的论文小汇总，还不能当综述，但也包含了很多经典的对抗攻击算法，方便回顾和查询，自己看的第一篇综述是： Advances in adversarial attacks and defenses in computer vision: A survey 论文这件事，真的只能多看，上学期看
图神经网络对抗攻击与防御
12-23
论文分享的“Nettack”是一种针对GNNs的攻击方法，而“GNNGUARD”则是一个防御策略。GNNGUARD的核心在于检测和量化图结构与节点特征之间的关系，以抵御对抗性攻击。其设计思路包括两个关键部分： 1. **邻居重要性...
EsResnet对抗攻击论文
12-26
《EsResNet：ResNets通过费曼-卡克形式化方法进行集成以实现对抗防御及其它应用》这篇论文提出了一种名为EnResNet的新方法，该方法旨在提高神经网络模型对对抗性攻击的鲁棒性。通过对ResNet结构进行改进，并利用费曼...
机器学习对抗性攻击
02-25
在GeekPwn2016硅谷分会场上，来自北美工业界和学术界的顶尖安全专家们针对当前流行的图形对象识别、语音识别的场景，为大家揭示了如何通过构造对抗性攻击数据，要么让其与源数据的差别细微到人类无法通过感官辨识到...
《计算机视觉对抗攻击与防御》最新综述论文
09-05
论文中，对抗性攻击主要分为两类：白盒攻击和黑盒攻击。白盒攻击是指攻击者拥有对模型的完全访问权限，可以了解模型的内部结构和参数，从而设计出更有效的攻击策略。而黑盒攻击则是在攻击者对模型一无所知或仅了解...
NeurIPS 2020 | 近期必读的对抗攻击精选论文
AI_Conf的博客
12-03 754
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 近年来，对抗攻击（adversarial attack）的研究越来越多，目前人工智能和机器学习技术被广泛应用在人机交互，推荐系统，安全防..
繁凡的对抗攻击论文精读（一）CVPR 2019 基于决策的高效人脸识别黑盒对抗攻击（清华朱军）
繁凡さん的博客
12-24 2113
《繁凡的论文精读》（一）CVPR 2019 基于决策的高效人脸识别黑盒对抗攻击（清华朱军） Efficient Decision-based Black-box Adversarial Attacks on Face Recognition
2020年最新对抗攻击论文泛读 adversarial attack
weixin_43916250的博客
07-20 1549
1.Universalization of any adversarial attack using very few test examples 思想： 用目前的攻击方法（FGSM,DeepFool,etl）获取几张不同的图的攻击成功的样本，将其组合成矩阵，对矩阵进行主成分分析、奇异值分解，获取他们的共同点，这样便可以得到泛用的对抗攻击个体。[根据攻击方式的不同分为SVD-FGSM,SVD-DeepFool，etl] 主要贡献： 算法： 效果： 总结： ...
【论文阅读】CVPR2023 || Adversarial Attack with Raindrops
qq_45822394的博客
04-21 1429
众所周知，深度神经网络(DNN)容易受到对抗样本的攻击，这些对抗样本通常是人为设计来欺骗DNN的，但在现实世界中很少存在。在本文中，我们研究了由雨滴引起的对抗样本，以证明存在大量的自然现象能够作为DNN的对抗性攻击者。此外，我们提出了一种新的方法来生成对抗雨滴，表示为AdvRD，使用生成对抗网络(GAN)技术来模拟自然雨滴。我们的AdvRD制作的图像看起来与现实世界的雨滴图像非常相似，在统计上接近真实雨滴图像的分布，更重要的是，它可以对最先进的DNN模型进行强烈的对抗攻击。
【论文阅读】图对抗攻击研究综述
计算机科研杂货铺
04-28 1417
文章目录一、文章信息概述1.文章概述2.论文来源3.作者/团队介绍二、论文笔记整理1.对抗攻击算法分类1.1.白盒攻击/黑盒攻击1.2.逃逸攻击/投毒攻击1.3.定向攻击/非定向攻击1.4.拓扑攻击/特征攻击/混合攻击2.攻击算法的应用3.图对抗攻击面临的挑战3.1.应用多样性3.2.攻击的可扩展性3.3.攻击的可转移性3.4.攻击的通用性3.5.攻击的可行性3.6.扰动的度量标准 一、文章信息概述 1.文章概述 本文是一篇关于图对抗攻击的综述类的文章，且为中文，适合入门阅读。 2.论文来源 条目
【每周CV论文推荐】基于GAN的对抗攻击，适合阅读那些文章入门？
hacker_long的专栏
09-30 1410
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。在图像分类的对抗攻击任务中，如果在图片上添加一个很小的扰动，虽然图像没有显著的视觉变化，但其可令分类器出现类别误判，这是GAN的一个重要应用领域。本文将推荐7篇对抗攻击的相关论文。作者&编辑 | 小米粥编辑 | 言有三1. BFGS对抗攻击领域的开山...
对抗攻击经典论文剖析（下）【DeepFool、One pixel attack、Universal adversarial perturbations、ATN】
一个nlp探险者的博客
04-26 5373
引言 上一篇讲的几篇经典对抗攻击论文主要讲的是如何在梯度上扰动或者优化，即尽可能保证下的扰动，不被人类发现，却大大降低了模型的性能。这一篇我们将会有一些更有意思的对抗攻击样本生成，包括像素级别的扰动以及样本生成（DeepFool、One pixel attack、Universal adversarial perturbations、ATN）。 DeepFool: a simple and acc...
对抗攻击经典论文——FGSM学习笔记 EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES
zzz12341的博客
04-05 662
论文下载：Explaining and Harnessing Adversarial Examples 摘要 几种机器学习模型，包括神经网络，一致地将对抗样本误分类——通过对数据集样本添加细微而刻意的扰动形成的输入，会导致模型以较高的置信度输出错误的结果。早期尝试解释这种现象时会专注于非线性和过拟合。但我们认为，造成神经网络在面对对抗扰动时的脆弱性的主要原因正是它们的线性特性。这种解释得到了新的定量结果的支持，对抗样本横跨网络结构和训练集的特点，也为这种解释提供了一个有趣的事实依据。此外，该观点产生了一种能
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值