Physical Adversarial Attack Meets Computer Vision: A Decade Survey

已于 2023-11-28 11:45:09 修改
阅读量261 收藏 1
点赞数 1
分类专栏： # 论文 文章标签： 计算机视觉 人工智能
于 2023-11-03 23:02:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51176105/article/details/134189851
版权

文章目录

摘要

论文Physical Adversarial Attack Meets Computer Vision: A Decade Survey的总结

文章贡献

  1. 我们提炼出发动物理对抗攻击的四个一般步骤。
  2. 我们引入了一个新术语:对抗媒介。
  3. 我们采取第一步系统地评估物理对抗攻击的性能，以对抗介质作为第一次尝试。
  4. 提出的评估指标hiPAA包括六个方面:有效性、隐身性、鲁棒性、实用性、美观性和经济性
  5. 提供跨任务类别的比较结果，以及有洞察力的观察和对未来研究方向的建议。

文章脉络

在这里插入图片描述

INTRODUCTION

数字对抗攻击和物理对抗攻击

  1. 数字对抗攻击，通过添加微妙的扰动(例如，风格扰动和上下文感知扰动)发生在数字空间中。
  2. 对抗攻击，在现实世界中使用包含对抗扰动的有形构件(例如，对抗补丁和对抗贴图)。

物理对抗攻击的四个步骤

  1. 对抗扰动生成。基于给定的dnns模型在数字域内产生扰动，受到不同攻击形式和攻击目标的约束。
  2. 对抗性介质制造。设计适当的物理介质来携带与攻击形式一致的扰动，然后使用适当的材料制造它们。
  3. 危害图像采集。在成像传感器捕获的真实场景中应用对抗介质，从而生成有危害图像。
  4. 攻击。将捕获的有危害图像反馈给基于神经网络的模型，发起攻击。
    在这里插入图片描述

准备工作

Computer Vision

简要介绍了计算机视觉

对抗性攻击

问题公式

对抗性攻击是指通过引入扰动来修改输入数据，从而导致模型f(·)做出不正确的预测y’。请注意，攻击者的修改仅限于输入数据。正是这样，扰动δ相加后的样本x被表示为对抗样本x’。在数学上，联合表示为
在这里插入图片描述
扰动δ通常受到强度、大小和对抗介质等因素的限制。

区分对抗攻击、后门攻击和投毒攻击。

三种攻击发生的不同时间
在这里插入图片描述

  1. 投毒攻击，在投毒攻击中，有毒样本被引入模型的训练数据集。在模型训练过程中，这些样本的加入会导致学习效率下降，在某些情况下，会阻碍收敛，最终导致整个学习过程的中断。显然，投毒攻击发生在数据收集和准备阶段。
  2. 后门攻击，攻击者通过污染训练数据、改变模型权值或修改模型体系结构来操纵神经网络模型，使它们在输入包含特定触发器时产生特定的输出。后门攻击对用户来说应该是不明显的，不会被移除，并且不应该破坏dnn的正常功能。
  3. 对抗性攻击，只修改输入数据，不做任何其他修改。

对抗性攻击的分类

  1. 黑盒攻击:黑盒攻击是指攻击者无法访问目标模型的结构和参数，攻击者只能与模型进行交互，获得相应样本的预测。利用成对的数据，即样本及其预测，黑盒攻击者训练替代模型进行对敌攻击，类似于真实世界的情况。由于可转移性，合成对抗样本具有良好的攻击性能。

  2. 白盒攻击:在白盒攻击中，攻击者可以访问数据和模型知识，包括网络结构、参数、权重、激活函数类型等细节。攻击者利用这些信息来评估模型的漏洞，并相应地调整他们的攻击策略。因此，这种攻击方法比较容易实现。

  3. 灰盒攻击:灰盒设置下的攻击规范了攻击者与外部模型的交互，并且能够感知模型的结构信息。换句话说，攻击者对模型具有查询访问权限，但对模型参数没有访问权限。这样，攻击者可以利用已知的结构信息构造一个更准确的替代分类器，进而进行攻击，其性能优于黑盒攻击。此外，考虑到对抗性目标，对抗性攻击可分为以下两类:

    1. 定向攻击:定向攻击的目的是将基于dns的模型误导到指定的标签上。例如，攻击将国家官员的脸识别为特定罪犯的脸。指定的类别标签使其更具挑战性，以高成功率和可观的隐身和健壮性实现有针对性的攻击。
    2. 无针对性攻击:无针对性攻击将基于dnns的模型误导到错误的标签上。设计一个有效的非目标攻击只需要使模型的预测不正确，而不必考虑不正确的结果是什么。

物理对抗攻击入门

四个步骤前面已说明，值得注意的是，后门攻击也可以在物理世界中执行。

敌对的媒介

定义

在物理空间发动攻击时，对抗扰动必须有一个载体，即在载体内部存在对抗摄动。同时，载体对扰动也有影响，这个载体就被称之为媒介。

常见媒介

  1. 贴画。通过附着在目标物体(如汽车、交通标志和人)表面进行攻击。在有效性和鲁棒性方面是有竞争力的。但这很难隐藏。一般让它接近自然纹理才可能隐蔽一些
  2. 补丁。将扰动限制在一个较小的局部区域内，不施加任何强度限制，常用于各种攻击任务中。它的流行主要是因为它的用户友好性，通常只需要简单的打印输出。贴画和补丁的制造过程相似。关键的区别在于，补丁通常具有规则的形状，而贴纸是不规则的，可以适应非刚性转换。
  3. 衣服。干扰可以整合到可穿戴服装中，显著提高其隐蔽性和实用性。这种方法被广泛用于欺骗人的探测器和逃避监视系统。
  4. 图像。将干扰分散在整个图像上，导致基于dnn的模型做出不正确的预测。但是难隐藏。
  5. 光。这种方法不直接修改对象，而是利用照明设备(如激光指针)或投影仪将特定的光线投射到目标对象上。隐蔽性强，受环境影响因素大。
  6. 照相机。过修改摄像机而不是目标对象来执行现实世界的攻击。开发了两种基于相机的攻击:相机的滚动快门效应和相机的图像信号处理(ISP)。由于修改发生在相机内，这种方法是高度隐形的。
  7. 温度控制材料。这种介质专门用于热红外成像模式内的物理对抗攻击。例如，当通过热红外摄像机观察时，发光的小灯泡看起来像高斯分布的光点。利用这一特性，攻击者可以创建复杂的模式来破坏基于深度学习的模型。
  8. 化妆。通过使用特殊的化妆技术对人脸识别算法发起对抗攻击。
  9. 3D打印工件。利用3d打印技术来创建对抗对象，能够欺骗物理世界中的分类器。由于其三维结构，这种对抗介质对物理约束保持鲁棒性。

评价指标

引入了物理对抗攻击的六边形指标(hiPAA)来系统地量化和比较上述六个角度的攻击方法。我们将hiPAA定义为六个组成部分的加权和：
在这里插入图片描述

效率

引入了性能下降的百分比进行量化该指标，式中Acc和Acc’分别表示模型在没有攻击和有攻击时的精度。
在这里插入图片描述

鲁棒性

考虑了三种评估场景:1)跨模型:攻击方法在模型变化时是否仍然有效;2)跨场景:攻击方法在各种现实场景下是否能够持续执行;3)抗变形:攻击方法是否能承受各种现实世界的转换，包括旋转、相机到对象的距离、视角等。对抗策略数量越多，表明攻击鲁棒性越强。

隐蔽性

进行了一项用户研究，参与者使用5点绝对类别评级(ACR)量表对图像进行评级

美观性

使用方法也是人为评定

实用性

也是人评

经济性

根据经验进行估计。较低的成本表明较高的成本效益。

受害的任务

对分类任务的攻击

一般分类任务

前人提出来了对抗性补丁、具有鲁棒泛化能力的类不确定通用对抗补丁、“复制/粘贴”攻击、可变形的对抗补丁、GAN生成的自然补丁，除了补丁之外，还有对整个图像添加扰动和转换视角等一系列攻击方法

这些攻击方法的性能并没有表现出多年来的持续改进。由于缺乏一个全面的评价框架，导致了这种现象的出现。也很难均衡六个方面的得失。

交通标志分类

在这个领域的安全评估已经得到了相当多的关注，因为涉及到了自动驾驶，所以前人工作很多。

检测任务攻击

与分类任务相比，检测任务涉及对附加信息的预测，包括对象的类别及其空间位置。因此，对探测器的物理对抗攻击主要集中在躲避探测上。

车辆检测

车辆检测的对抗性攻击旨在将一种独特的模式应用于车辆的外部，从而使其不被发现。这需要在虚拟世界模拟，因此又需要一步数字到物理的转换，目前攻击方法在隐蔽性方面都不太理想

人员检测

对人检测的物理对抗性攻击的目的是在现实世界的检测模型中隐藏一个人。
攻击方式比如，补丁，衣服等都存在

交通标志检测

跟分类似乎并无不同，最多是多了车道监测一类。后续再看看

对重新识别任务的攻击

在这里插入图片描述

人脸识别

如戴对抗性眼镜的人能够避免被认出或模仿另一个人

人员再识别

无法在多个镜头下识别出来同一个人

在其他任务上的攻击

  1. 光流估计（Optical Flow Estimation，OFE）是一种计算机视觉任务，旨在测量图像序列中像素的二维运动。这个任务的目标是确定一个图像序列中每个像素在连续帧之间的位移，以表示对象或场景中的运动。通过光流估计，我们可以了解图像中不同区域的移动情况，包括速度和方向。
  2. 人群计数.旨在估计图像或视频中的个人数量.
  3. 单目深度估计(Monocular Depth Estimation, MDE)旨在估计相机与目标物体之间的距离
  4. 语义分割的目的是将每个像素分类到预定义的类别，而不区分单独的对象实例
  5. 转向角度预测可以帮助自动驾驶系统做出明智的决策
  6. 目标跟踪的目的是检测出感兴趣的运动目标，并在帧与帧之间进行跟踪
  7. 图像字幕主要是生成对图像的描述，需要识别出图像中重要的对象、它们的属性以及它们之间的关系

未来

现有问题

现有领域差距

在数字空间设计，在物理世界实现，最后在数字领域中执行攻击的过程。这个工作流程涉及数字域和物理域之间的转换。目前的研究对解决领域差距的关注有，进一步探索减轻其他领域差距的方法将是有价值的

不可控的评估设置

大多数现存的作品都是使用他们制造的对抗媒介来评估他们在现实世界中的物理对抗攻击方法。创造对抗媒介的过程涉及主观因素， 部分不可控

未来工作

新对抗介质

合适的对抗介质很重要

从数字空间到物理空间的过渡

对抗摄动是在数字域中设计的，并由物理域中的对抗介质携带。从数字域到物理域的过渡引入了一个缺口。需要尽可能探索和减轻过渡过程中未知的差距。

物理世界模拟

精确模拟物理环境可以增强攻击在动态物理环境中的鲁棒性。

从物理空间到数字空间的过渡

扰动被真实世界中的相机捕获，产生数字图像，然后用来攻击基于dnns的模型。在整个过程中，从现实世界到数字图像的转换之间存在着差距。

寻找物理对抗攻击的新方向

Zqchang
关注
专栏目录
Deep Learning in Computer Vision: A Survey
AI天才研究院
09-03 1146
作者：禅与计算机程序设计艺术 1.简介 深度学习已经成为近几年计算机视觉领域一个非常热门的话题。在图像识别、目标检测等领域，深度神经网络(DNNs)已经取得了非凡的成果。随着人们对这个领域越来越关注，越来越多的人开始关注和尝试这个方向。这篇综述文章试图对深度学习在计算机视觉领域的最新进展进行梳理，并总结
物理对抗攻击的十年调查——Physical Adversarial Attack Meets Computer Vision: A Decade Survey
黑心萝卜三条杠的博客
08-12 1283
尽管DNN已经在计算机视觉领域内有很大成就，但是仍然存在对对抗性攻击的脆弱性问题，也就是说将具有复杂扰动的样本输入到DNN中可能会对其性能造成灾难性后果。提炼了物理对抗攻击的四个步骤；揭示了携带对抗性扰动的人工制品在物理世界的普遍作用；引入了新的术语——对抗介质，其主要指携带对抗性扰动的人工制品；提出了hiPAA评估指标， 即有效性、隐蔽性、鲁棒性、实用性、美观性与经济性；对现有的物理对抗攻击方法进行了全面的比较，并从实际应用的角度讨论了这些方法的局限性、挑战和潜在方向，以利于未来的研究。
Advances in adversarial attacks and defenses in computer vision: A survey论文解读
kking_edc的博客
11-19 2369
Abstract Deep Learning (DL) is the most widely used tool in the contemporary field of computer vision. 它能准确解读复杂问题的能力被应用于许多视觉研究中。However, it is now known that DL is vulnerable to adversarial attacks that can manipulate its predictions by introducing visuall
【Adversarial Attack in Object Detection】物理对抗攻击和防御
prinTao的博客
06-21 3441
在计算机视觉中，根据实现领域，对抗性攻击可以分为数字攻击和物理攻击。数字攻击是指在摄像头成像之后对数字像素进行攻击，物理攻击是指在摄像头成像之前对物理对象进行攻击。虽然数字攻击（如 PGD [ madry2017towards ]、 MI-FGSM [ dong2018boosting ]、 C&W [ carlini2017towards ]和 Deepfool [ moosavi2016deepfool ]等）对 DNN 模型表现良好，但它们很难在现实世界中实施。因为数字扰动通常是全局的和不显眼的，很难
物理世界中的对抗样本
qq_42732826的博客
05-01 638
正如在数字空间中存在对抗样本，研究者发现在物理世界中也存在对抗样本，研究人员将对抗性补丁打印出来挂在人的身前，就能让目标检测算法YOLOv2失效。源代码链接：https://gitlab.com/EAVISE/adversarial-yolo。test_patch.py文件用来测试跑出来的patch的攻击性怎么样。- proper_patched: 在图像上添加扰动, 并保存检测结果。patch的config文件patch_config.py。真正核心的文件是train_patch.py文件。
论文研读2——对抗样本(Adversarial Example)综述（2021版）
xxxibgdrgn博客
11-04 6695
对抗样本领域，涉及对抗攻击，防御等方面的综述
Threat of Adversarial Attacks on Deep Learning in Computer Vision A Survey.pdf
09-18
深度学习在近年来推动了人工智能的迅猛发展，特别是在计算机视觉领域，深度神经网络已经成为了自动驾驶汽车、监控和安全等应用的核心驱动力。然而，深度学习模型尽管在解决复杂问题上表现出色，却也暴露出了其脆弱性...
Generative Adversarial Networks in Computer Vision A Survey a
09-23
生成对抗网络（Generative Adversarial Networks, GANs）自2014年提出以来，已成为机器学习领域尤其是计算机视觉（Computer Vision, CV）中的一项重要技术。GANs的核心思想是通过两个神经网络——生成器（Generator...
Generative Adversarial Networks in Computer Vision A Survey
09-25
生成对抗网络在计算机视觉中的应用：一项调查与分类 生成对抗网络（GANs）近年来受到了广泛的研究。它们在计算机视觉领域的影响尤为显著，尤其是在逼真图像生成、图像到图像转换、面部属性操作等挑战中取得了重大...
论文阅读笔记：Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey
qq_36356761的博客
03-14 2906
论文阅读笔记：Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey 要点 (universal adversarial perturbation)[1] 3D物理对抗样本 对抗样本生成 Box-constrained L-BFGS minρminρ\min_{\rho} Fast ...
对抗攻击算法总结论文集合（白盒、黑盒、目标检测、对抗训练等）
热门推荐
ji_meng的博客
04-09 2万+
文章目录一、白盒攻击1.FGSM2.JSMA：3.DeepFool：4.CW：5.PGD:二、黑盒攻击1.单像素攻击2.基于查询3.基于迁移4.基于替代5.其他三、对抗攻击与目标检测四、对抗训练&鲁棒性 只是一个自己看过的论文小汇总，还不能当综述，但也包含了很多经典的对抗攻击算法，方便回顾和查询，自己看的第一篇综述是： Advances in adversarial attacks and defenses in computer vision: A survey 论文这件事，真的只能多看，上学期看
对抗攻击与防御 (1)：图像领域的对抗样本生成
因吉的博客
04-25 6756
相较于其他领域，图像领域的对抗样本生成有以下优势：1）真实图像与虚假图像于观察者是直观的；2）图像数据与图像分类器的结构相对简单。本文以全连接网络和卷积神经网络为例，以MNIST、CIFAR10，以及ImageNet为基础样本，研究基于逃避对抗，包括白盒、黑盒、灰盒，以及物理攻击的图像对抗样本生成。
“黑盒”下的攻击实现，真实世界的“人脸识别”遭遇危险！
喜欢打酱油的老鸟
04-26 5333
https://www.toutiao.com/a6683765601862681092/ 作为最重要的计算机视觉任务之一，人脸识别技术（Facial recognition）基于深度神经网络（CNN）提取人脸特征来实现。 近年来，由于深度神经网络（CNN）的巨大进步，人脸识别技术取得了显著的发展，被广泛使用于身份认证的实际应用中，比如：手机解锁、闸机认证，甚至是金融业务中身份...
物理世界的鲁棒语音对抗样本（源码阅读笔记）下
qq_44109982的博客
01-16 697
这篇博客记录IJCAI19发表的Robust Audio Adversarial Example for a Physical Attack的源代码的Attack部分的阅读过程。 Attack类有两个方法，init和attack。 def init 是构造函数，用来定义实例的属性，在创建对象时自动执行 def attack中实现对抗样本的生成（只有三个参数，self实例，输出路径，迭代次数） init方法 init的作用：配置攻击过程，创建TF图以使用它来实际生成对抗性示例。 这一串参数不明觉厉 de
对抗样本(论文解读十四): advPattern Physical World Attacks on Deep Person Re-Identification via Adversarially T
Enjoy_endless
06-12 1337
advPattern Physical World Attacks on Deep Person Re-Identification via Adversarially Transformable Zhibo Wang†, Siyan Zheng†, Mengkai Song†, Qian Wang†,∗, Alireza Rahimpour‡, Hairong Qi‡ †Key Laboratory of Aerospace Information Security and Trusted Computi
机器学习对抗性攻击
CSDN 人工智能
01-04 1万+
随着人工智能和机器学习技术在互联网的各个领域的广泛应用，其受攻击的可能性，以及其是否具备强抗打击能力一直是安全界一直关注的。之前关于机器学习模型攻击的探讨常常局限于对训练数据的污染。由于其模型经常趋向于封闭式的部署，该手段在真实的情况中并不实际可行。在GeekPwn2016硅谷分会场上，来自北美工业界和学术界的顶尖安全专家们针对当前流行的图形对象识别、语音识别的场景，为大家揭示了如何通过构造对抗性...
路测毫米波雷达标定和目标跟踪
最新发布
xihuanniNI的博客
11-02 300
路测毫米波雷达标定和目标跟踪
车牌识别算法demo
weixin_43917589的博客
10-23 1322
【代码】车牌识别算法demo。
理解 Generative Adversarial Networks (GAN)：从基础到应用
本次资源主要围绕Generative Adversarial Network（生成对抗网络，简称GAN）这一深度学习领域的关键概念进行讲解。通过PPT的形式，它旨在介绍GAN的基本思想，并提供了与之相关的背景知识，如受限玻尔兹曼机...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值