《Adversarial Attacks and Defenses in Deep Learning: From a Perspective of Cybersecurity》论文解读

最新推荐文章于 2024-10-01 10:05:29 发布
最新推荐文章于 2024-10-01 10:05:29 发布
阅读量686 收藏 14
点赞数 10
分类专栏： 保研 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61786525/article/details/138416775
版权

Introduction+Preliminary

本文首先强调了深度学习技术在多种任务中的广泛应用和取得的显著成就，尤其是深度学习在图像识别、语音识别、自然语言处理等领域的关键作用。然而，作者们也指出了深度学习模型的一个主要问题：对抗性样本的存在使得深度学习模型的安全性和稳定性受到威胁。

对抗性样本是指通过在原始数据中添加精心设计的微小扰动，导致深度学习模型以高概率给出错误预测的样本。这些扰动对于人类来说通常是难以察觉的，但对模型的预测结果却有显著的影响。这种现象在自动驾驶车辆、安全监控等关键领域尤为令人担忧，因为模型的失败可能导致严重的安全事故。
作者们提到，尽管对抗性攻击和防御的研究已经取得了一定的进展，但目前还缺乏标准化的评估方法来衡量对抗性攻击的真实威胁或深度学习模型的鲁棒性。因此，评估模型安全性成为AI项目生命周期中的一个重要组成部分。

此外，作者们还讨论了深度学习技术在实际应用中的隐私和安全威胁，以及一些组织正在参与人工智能标准化工作的进程。他们强调了制定AI系统生命周期标准的重要性，包括初始化、设计和开发、检查和验证、部署、操作监控、持续验证、重新评估和废弃等阶段。

最后，作者们指出，尽管已有一些关于对抗性机器学习的综述研究，但这些研究通常关注特定的攻击方法或防御策略，而没有从系统层面全面考虑模型安全风险。因此，本文旨在提供一个基于APT（高级持续性威胁）生命周期的分析框架，以系统地理解和研究深度学习中的对抗性攻击和防御问题。这个框架不仅提供了对现有攻击和防御方法的全面和系统性的回顾，而且还从网络安全的角度提供了新的视角，以帮助研究人员更好地理解和应对深度学习中的安全挑战。

Adversarial Attacks

  1. 对抗性攻击的概述：

    • 对抗性攻击被定义为旨在通过在训练或推理阶段插入对抗性示例来欺骗机器学习模型的攻击类别。
    • 这些攻击可以显著降低深度学习模型的鲁棒性，并引发模型安全问题。

  2. 对抗性攻击的分类：

    • 逃避攻击（Evasion Attacks）：在测试时发现的对抗性示例，攻击者试图在不改变模型参数的情况下，生成能够欺骗模型的输入样本。
    • 数据投毒攻击（Poisoning Attacks）：在训练数据中插入污染数据，影响最终训练出的模型。这类攻击又可分为两种目标：可用性违规和完整性违规。

  3. 对抗性攻击的生命周期：

    • 论文提出了一个基于APT（高级持续性威胁）生命周期的对抗性攻击生命周期，该生命周期包括五个阶段：侦察、建立据点、横向移动、阻碍和后期阻碍。
    • 每个阶段都对应着攻击过程中的不同目标和策略。

  4. 对抗性攻击的五个阶段：

    • 阶段1：漏洞分析：攻击者进行理论分析，以了解深度神经网络（DNN）对扰动的敏感性。
    • 阶段2：制作：攻击者利用第一阶段的信息设计出能够欺骗目标模型的对抗性样本。
    • 阶段3：后期制作：在已有对抗性样本的基础上，进行更高级的攻击，以提高攻击的成功率或生成更自然的对抗性样本。
    • 阶段4：实际应用：考虑实际应用中的特定特征，如噪声和环境变化，以提高攻击在现实世界中的成功率。
    • 阶段5：重新审视不可感知性：攻击者力求在保持攻击成功率的同时，最小化对抗性样本的可感知扰动。

  5. 对抗性攻击的具体方法：

    • 论文详细讨论了多种对抗性攻击方法，包括基于优化的攻击、基于梯度的攻击和基于生成对抗网络（GAN）的攻击。
    • 这些方法在设计时考虑了不同的目标，如无目标攻击（Untargeted Attacks）和有目标攻击（Targeted Attacks），以及不同的攻击知识假设，如白盒攻击（White-box Attacks）和黑盒攻击（Black-box Attacks）。

  6. 对抗性攻击的挑战和限制：

    • 论文讨论了在设计对抗性攻击时面临的挑战，如有限的知识、模型的特殊属性以及特定领域的约束。

  7. 对抗性攻击的防御：

    • 论文还提到了对抗性攻击的防御措施，包括在不同阶段如何通过不同的策略来提高模型的鲁棒性。

  8. 对抗性攻击的未来研究方向：

    • 论文最后提出了对抗性攻击领域的未来研究方向，包括探索新的攻击技术、提高攻击的转移性和在特定领域的应用。

Adversarial Defense

对抗性防御的讨论被详细地分为五个阶段，每个阶段都对应着对抗性攻击生命周期中的一个阶段，并提出了相应的防御策略。以下是对抗性防御部分的详细内容概述：

  1. 对抗性防御的概述：

    • 对抗性防御旨在提高深度学习模型对对抗性样本的鲁棒性，以减少恶意攻击者通过对抗性样本对模型造成的影响。

  2. 对抗性防御的五个阶段：

    • 阶段1：鲁棒性认证（Robustness Certification）：这一阶段的防御措施提供了理论上的鲁棒性保证，即使用数学证明来确保模型对小的输入扰动具有不变性。
    • 阶段2：反制作（Anti-crafting）：在这一阶段，防御者专注于防止对抗性样本的生成，通常是通过改进模型的训练过程，如使用对抗性训练或网络蒸馏技术。
    • 阶段3：后期制作（Post-crafting）：这一阶段的防御措施假设对抗性样本已经被成功生成，防御者需要关注如何在训练阶段防止由现有漏洞造成的进一步损害，例如通过模型架构修改或输入预处理。
    • 阶段4：应用特定防御（Application-specific Defenses）：在这一阶段，防御者利用特定应用场景的独特属性来提高模型对对抗性样本的鲁棒性，这些防御措施可能具有很好的针对性，但泛化能力较差。
    • 阶段5：检测防御（Detection Defenses）：这一阶段的防御措施旨在识别和减少恶意对抗性样本的影响，通常是通过设计有效的检测器来发现对抗性样本。

  3. 对抗性防御的具体方法：

    • 论文详细讨论了各种对抗性防御技术，包括：
      • 利用对抗性训练来增强模型的鲁棒性。
      • 通过网络蒸馏将大型模型的知识转移到小型模型上。
      • 控制模型的Lipschitz常数来减少对抗性扰动的影响。
      • 使用输入变换技术，如JPEG压缩或随机化，来减少对抗性样本的影响。

  4. 对抗性防御的挑战和限制：

    • 论文讨论了在设计对抗性防御时面临的挑战，如防御措施的计算成本、模型泛化能力的影响以及特定防御措施的适用性。

  5. 对抗性防御的未来研究方向：

    • 论文提出了对抗性防御领域的未来研究方向，包括探索新的防御技术、提高模型的鲁棒性以及在特定领域的应用。

  6. 对抗性防御的评估：

    • 论文强调了对抗性防御措施需要经过严格的评估，以确保它们在面对不同类型的对抗性攻击时的有效性。

EXPLANATIONS FOR THE PHENOMENON OF ADVERSARIAL EXAMPLES

探讨了对抗性示例现象的现有假设，并尝试从数据和模型两个角度来提供更深入的理解

  1. 数据视角：
    • 非鲁棒特征（Non-robust features）：Ilyas等人提出，对抗性示例的现象是数据特征的结果。他们将特征分为鲁棒和非鲁棒特征，非鲁棒特征（对人类不可理解且更可能被攻击者操纵）可能导致对抗性漏洞。
    • 高维数据（High dimension）：Gilmer等人探索了数据维度和鲁棒性之间的关系，并发现数据的高维度可能限制了模型的鲁棒性。
    • 数据不足（Insufficient data）：Schmidt等人观察到，现有的数据集可能不足以获得鲁棒的模型，而Hendrycks等人提出在更大的数据集上预训练可以有效提高鲁棒性。
  2. 模型视角：
    • 非线性（Nonlinearity）：Szegedy等人从模型的角度探讨了DNN的对抗性脆弱性，认为DNN的高非线性导致了数据流形中的低概率口袋，这些口袋可以在对抗性示例的搜索过程中被发现。
    • 过度线性（Overlinearity）：Goodfellow等人反驳了非线性假设，提出DNN的过度线性导致了脆弱性，特别是容易激活的函数（如ReLU和sigmoid）可能导致DNN的线性行为。
    • 决策边界倾斜（Decision boundary tilting）：Tanay和Griffin提出，局部线性行为本身不足以导致对抗性脆弱性，而可能是由于过度拟合的模型导致。
    • 训练过程（Training procedure）：Bubeck等人关注训练过程，认为对抗性脆弱性是标准训练中计算约束不可避免的结果。
  3. 总结：
    • 论文指出，目前还没有一个统一的解释来说明DNN中对抗性示例的存在。尽管提出了几种假设，但它们之间存在冲突，且没有足够的证据完全否定任何一种假设。
    • 论文认为，脆弱性可能是多种假设共同作用的结果，而不是单一属性的效果。例如，增加训练数据的数量（通过数据增强）不仅可以减少非鲁棒特征的影响，还可以减少模型的线性，从而提高鲁棒性。
  4. 未来研究方向：
    • 论文提出了未来研究方向，包括探索隐私保护和模型鲁棒性之间的关系，以及如何设计能够同时提高隐私保护和模型鲁棒性的方法。

DATASETS

这部分详细介绍了在对抗性学习领域常用的几个数据集，并对它们在对抗性攻击下的表现进行了分析

  1. MNIST：

    • MNIST 是一个包含手写数字（0到9）的数据库，有 60,000 个训练样本和 10,000 个测试样本，每个样本都是通过大小归一化转换成 28×28 的图像。
    • 由于 MNIST 的简单性和小尺寸，它被认为是容易受到攻击和防御的数据集。

  2. CIFAR-10：

    • CIFAR-10 包含 10 个类别的彩色图像，每个类别有 32×32 像素的图像，训练集有 50,000 张图像，测试集有 10,000 张图像。
    • CIFAR-10 也被认为是容易受到攻击的数据集，但防御对抗性示例的难度更大。

  3. CIFAR-100：

    • CIFAR-100 与 CIFAR-10 类似，但类别增加到了 100 个。
    • 对于白盒无目标攻击，PGD 和 MI-FGSM 可以在 CIFAR-100 上实现高攻击成功率（ASR），但防御起来更困难。

  4. SVHN (Street View House Numbers)：

    • SVHN 是一个包含 10 个类别的数字数据集，收集自 Google 街景图像中的房屋号码，训练集有 73,257 个数字，测试集有 26,032 个图像。
    • SVHN 的对抗性攻击也容易实现，但通过结合对抗性训练和离散化，可以显著提高模型的对抗性准确性。

  5. ImageNet：

    • ImageNet 是一个大规模图像数据集，包含超过 14 百万张图像，对计算机视觉研究至关重要。
    • 在白盒设置中，没有防御的模型容易受到攻击，但对抗性训练等防御措施可以提高模型的鲁棒性。

  6. 对抗性攻击和防御的效果：

    • 论文还比较了不同攻击方法在 ImageNet 上的效果，以及不同防御措施的效果。
    • 例如，DeepFool 和 C&W 可以在无防御模型上实现 100% 的 ASR，而单步 FGSM 的 ASR 较低（66.8%）。
    • 通过随机化机制，可以显著提高对抗迭代攻击（如 DeepFool 和 C&W）的准确性。

  7. 防御策略的组合：

    • 论文指出，不同的防御措施对不同攻击的有效性差异很大，因此，将多种防御策略结合起来可能是提高模型整体鲁棒性的潜在解决方案。
    • 为了实现这一点，需要全面考虑现有方法，找出它们之间的差异和兼容性。

  8. 数据集的挑战和未来方向：

    • 论文讨论了在实际应用中使用单一防御策略来消除所有对抗性攻击威胁的挑战，并提出了未来研究方向，包括探索隐私保护和模型鲁棒性之间的关系。

FUTURE DIRECTIONS

这部分作者探讨了未来研究方向，旨在解决深度学习系统中的安全和隐私问题，并推动“深度学习即服务”（deep learning as-a-service）的发展。

  1. 安全和隐私框架（Safety and Privacy Framework）：
    • 作者指出，当前深度学习安全和隐私研究领域是碎片化的，因为威胁类型和目标不同。安全深度学习旨在构建对恶意输入具有高鲁棒性的模型，而隐私保护深度学习旨在保护用户数据的隐私。
    • 提出了需要设计一种统一的分析框架来同时解决隐私问题和安全问题，但目前这一目标尚未实现。
  2. 对抗性模型反演防御（Adversarial Model Inversion Defenses）：
    • 讨论了隐私威胁研究中的成员推断和模型反演攻击，以及如何使用差分隐私技术来降低成员攻击的成功率。
    • 作者提出，可以利用对抗性学习来训练隐私保护模型，以抵御模型反演攻击，这是一种有趣的研究方向。
  3. 监控方法（Monitoring Methods）：
    • 作者从APT（高级持续性威胁）防御策略中获得灵感，提出使用监控方法来研究深度学习模型的安全问题。
    • 建议在训练目标模型之前，先训练一个辅助模型来分析日志信息，以监控训练阶段是否出现恶意行为，如插入投毒样本。
  4. 未来研究方向的具体建议：
    • 设计同时训练隐私保护和鲁棒性模型的方法：这一方向旨在开发能够同时提高模型对隐私攻击和对抗性攻击鲁棒性的方法。
    • 探索对抗性样本在模型反演攻击防御中的能力：研究如何利用对抗性样本来降低反演模型的性能，从而保护隐私。
    • 开发深度学习模型的监控技术：利用日志监控来检测训练过程中的异常行为，作为对抗训练阶段投毒攻击的潜在对策。
  5. 结论：
    • 作者强调，尽管深度神经网络（DNN）在日常生活中的任务中表现出色，但它们对对抗性样本的安全性问题引起了广泛的关注。
    • 论文提出的分析框架旨在提供一个标准评估过程，帮助理解攻击方法，并结合多种防御策略来最小化对目标模型的风险。
call me by ur name
关注
专栏目录
Adversarial Examples: Attacks and Defenses for Deep Learning
02-20
2019 review and taxonomy on adversarial examples and defenses
对抗样本学习笔记:Adversarial Examples: Attacks and Defenses for Deep Learning
dream2017seek的博客
05-19 1610
一、相关优质博客 1.全面入门https://blog.csdn.net/donaldsy/article/details/94473405?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-1 2.直观理解原理https://blog.csdn.net/nemoyy/article/details/81052301?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFrom
对抗样本(论文解读四): Adversarial Attacks and Defenses in Images, Graphs and Text: A Review
Enjoy_endless
12-09 3104
准备写一个论文学习专栏，先以对抗样本相关为主，后期可能会涉及到目标检测相关领域。 内容不是纯翻译，包括自己的一些注解和总结，论文的结构、组织及相关描述，以及一些英语句子和相关工作的摘抄(可以用于相关领域论文的写作及扩展)。 平时只是阅读论文，有很多知识意识不到，当你真正去着手写的时候，发现写完之后可能只有自己明白做了个啥。包括从组织、结构、描述上等等很多方面都具有很多问题。另一个是对于专业术语、...
Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning 论文分享
qiu_xiao_ying的博客
10-10 454
目录一 . Background一.引入二.方法1.policy-based approach1.1 开局一张图1.2 机器学习三大步二.Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning一.攻击目标二.存在的困难三.作者做的事四.具体内容 一 . Background 一.引入 二.方法 policy-based approach(learning an actor) value-base
《Adversarial Examples: Attacks and Defenses for Deep Learning》阅读笔记
VnK_的博客
05-06 943
4/4 本周综合阅读了图像检索领域的一些关键文献以及常用技术，本来准备写一篇CBIR领域的学习概述，奈何有些文献还没有读完，自己要写的概述还处在半成品状态（对于特征embedding还有一些不懂，cv领域一些知识也还要补充），想认真写完之后再上交。所以先就本星期阅览的关于AML领域的相关知识做一下笔记。 1.《Adversarial Examples: Attacks and Defe...
Threat of Adversarial Attacks on Deep Learning in Computer Vision A Survey.pdf
09-18
深度学习在近年来推动了人工智能的迅猛发展，特别是在计算机视觉领域，深度神经网络已经成为了自动驾驶汽车、监控和安全等应用的核心驱动力。然而，深度学习模型尽管在解决复杂问题上表现出色，却也暴露出了其脆弱性...
基于图的对抗式攻击和防御（Adversarial attacks and defenses on graphs）.pdf
03-05
图神经网络是深度神经网络（Deep Neural Networks, DNNs）的扩展，它们被设计来有效学习图的表示。在社交网络、物理系统和蛋白质交互网络等众多系统中，图形是表示这些系统中各种关系的有效方式。图神经网络通过将...
Threat of Adversarial Attacks on Deep Learning in Computer Visio
09-25
在计算机视觉领域，深度学习（Deep Learning, DL）已经成为解决复杂问题的核心工具，广泛应用于图像识别、目标检测等任务，甚至是安全至关重要的应用。然而，深度学习也面临着一个严峻的威胁——对抗性攻击...
论文阅读笔记：Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey
qq_36356761的博客
03-14 2897
论文阅读笔记：Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey 要点 (universal adversarial perturbation)[1] 3D物理对抗样本 对抗样本生成 Box-constrained L-BFGS minρminρ\min_{\rho} Fast ...
【学习】adversarial attack、evasion attacks
Raphael9900的博客
12-30 674
李宏毅机器学习
机器学习里的攻击-躲避攻击(Evasion attacks)
热门推荐
学渣的博客
12-25 2万+
目录 需要保证其安全三要素（完整性Integrit、可用性Availability、机密性Confidentially）是安全的，如对于一个网络流量包—— 1.其必须是完整的，否则信息就没有意义了——完整性 2.其必须可被接受者所获得和使用，否则这个包也没有意义了——可用性 3.其只能让有权读到或更改的人读到和更改——机密性 那么对于AI系统而言，我们同样可以从AI系统的三要素来进行考虑和分析。如下图所示—— 对于机器学习安全，我们主要讨论其完整性和机密性。 AI的完整性主要是指模型学习和预测的过程完整不
Usenix 2022 夏季论文简单分类
^_^
01-16 6803
最近发现Usenix 2022夏季的paper已经出了，所以扫扫看有没有有趣的文章，对文章进行了简单的分类。基于个人知识分类，可能分类不是那么准确。也可以等usenix 2022上了dblp看官方的分类。 文章目录二进制fuzz软件安全物联网声音相关侧信道可信计算内核云安全嵌入式设备AI模型安全驾驶系统移动安全LTE（通信安全？）密码学网络安全Web安全隐私未分类 二进制 DeepDi: Learning a Relational Graph Convolutional Network Model on.
忽视警告_忽视针对神经网络的网络攻击
weixin_26722031的博客
08-31 2519
忽视警告Artificial neural networks can be thought of as computed biological neural networks. Is it possible to perceive an object as something it is not? If our perception of the outside world is an inter...
[读论文]Adversarial Examples: Attacks and Defenses for Deep Learning
DonaldSu的博客
05-06 3815
对抗样本：深度学习的攻击和防御 内容来源于论文：Adversarial Examples: Attacks and Defenses for Deep Learning，发表在IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS。   论文地址：Adversarial Examples: Attacks and Defens...
Evasion Attack in Adversarial Machine Learning
ColdWindHA的博客
03-05 821
Evasion Attack in Adversarial Machine Learning Evasion Attack旨在不干涉模型任何训练的基础上，设计出让训练好的模型无识别的test case，我们称之为inference-phase adversarial attack，又称为adversarial examples。从分类的角度上，evasion attack可以分为两大类，一类是ℓp\ell_pℓp​ attack​，另一类是Non-ℓp\ell_pℓp​ attack。区别在于，前者在一张正
论文那些事—Defense against Adversarial Attacks Using High-Level Representation Guided Denoiser
shuweishuwei的博客
10-19 1509
1、摘要\背景 想到对抗样本的防御，一个很自然饿想法是能不能将添加的扰动去掉，但目前为止没有任何一个算法或者模型能完全将扰动去掉复原原始图像，最常用的方法是去噪，去掉对抗样本扰动所带来的的影响，即对抗样本失效，机器能够识别为原来的标签，但去噪后的图像与原图像依然存在着差异。本文提出标准去噪器受到误差放大效应的影响，在误差放大效应中，小的残余的对抗性扰动被逐渐放大，并导致错误的分类。HGD通过使用一个损失函数克服了这个问题，该损失函数定义为干净图像和去噪图像激活的目标模型输出之间的差异。 我们尝试用了一些
强化学习对抗攻击总结
weixin_44548214的博客
04-10 2159
十六、Adversarial Attack in RL&MARL Summary 1、前言 这次主要对6篇论文做一个总结，这几篇文章有着比较紧密的联系： 1、Adversarial Attacks on Neural Network Policies (2017 ICLR) 2、DELVING INTO ADVERSARIAL ATTACKS ON DEEP POLICIES (2017 ICLR) 3、Robust Adversarial Reinforcement Learning (2017
深度学习·wandb
最新发布
2301_80132162的博客
10-01 434
一个好用的可视化训练过程和调参工具，建议在深度学习中使用，语法来说更加方便。
基于CNN+Transformer混合模型实现交通流量时序预测(PyTorch版)
君子不器 大道无方
09-30 1508
本文旨在详细介绍如何使用PyTorch框架实现基于CNN+Transformer的混合模型，并将其应用于交通流量时序预测任务。我们将从模型架构、数据处理、训练优化等多个方面进行深入剖析，力求为读者提供一个全面、系统的学习与实践指南。希望通过本文的介绍，读者能够掌握CNN+Transformer混合模型的基本原理与实现方法，并能够在实际交通流量预测任务中灵活应用，为城市交通管理与规划贡献自己的力量。
Towards Deep Learning Models Resistant to Adversarial Attacks
04-03
Adversarial attacks are a major concern in the field of deep learning as they can cause misclassification and undermine the reliability of deep learning models. In recent years, researchers have ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值