[论文阅读]Multi-Expert Adversarial Attack Detection in Person Reid Using Context Inconsistency(ICCV2021)

最新推荐文章于 2024-05-16 06:18:51 发布
最新推荐文章于 2024-05-16 06:18:51 发布
阅读量310 收藏
点赞数
分类专栏： Person-reid 文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Charles_zzz/article/details/125035282
版权

MEAAD: Multi-Expert Adversarial Attack Detection in Person Re-identification Using Context Inconsistency

基于上下文不一致性的行人重识别的多专家对抗攻击检测
领域：Adversarial Attack

文章目录

Motivation

Person-reid旨在跨多个非重叠摄像头检索行人，基于深度神经网络(DNN)的reid模型通过学习行人的可区分特征来计算距离度量模型，近年来在公共安全视频监控或刑事识别中得到了广泛的应用。但是reid模型继承了DNN对有攻击性的例子(adversarial example)的脆弱性，这些例子通过轻微地扰动输入图像，导致DNN做出错误的预测，检测这些有攻击性的例子是健壮reid系统的要求。
在这里插入图片描述

如图所示，通过攻击查询图片后，返回的候选集往往与真实图片在视觉上明显相似度下降。
在这里插入图片描述

且没有受到攻击的(benign)查询图片和它的支持集在特征层面比较聚集，受到攻击的(perturbed)图片和它的支持集在特征层面比较分散。
总体来说，经过攻击后的查询图片和支持集上下文一致性会更弱，所以提出了论文的方法：基于检测上下文一致性来检测查询图片是否受到攻击。
在MEAAD中使用的上下文包括三种关系：（1）Query-Support Affinity：query图片与单个专家模型返回的支持样本的关系 （2）Support-Support Affinity：单个专家模型返回的支持样本间的关系 （3）Cross-Expert Affinity：一个专家模型返回的支持样本和另一个专家模型返回的支持样本的关系

Method

Overview:

在这里插入图片描述

MEAAD总体结构如图所示，给定查询图片和图库集作为输入，论文把专家系统检索返回的图库集中前K(k=15)张图片作为支持集。经过每个专家模型后得到返回的支持集，利用查询图片以及支持集、计算上述的三个关系，再把关系矩阵展平得到各自的一维向量（图中的蓝、红、绿向量），进行拼接后得到总体的一维向量，作为detector的输入，detector是一个简单的MLP，返回的结果是受到攻击与否(0/1)。
Threat Model
论文先介绍了攻击的方式，假设攻击者能够通过干扰查询图像进行攻击，但不会攻击图片库的图像，这是由于图库集往往非常大，攻击大量的图库图像非常耗时，所以攻击图库集的是不太现实的。

Context feature consistency

(1) Query-Support Affinity

在这里插入图片描述

如图所示，没有受到攻击的查询图片(benign)与查询集的相似度往往会更大，而受到攻击的查询图片(perturbed)与查询集的相似度却会更小。
通过该现象我们可以通过计算query-support关系矩阵来描述Query-Support Affinity
在这里插入图片描述

Sj代表的是第j个专家模型返回的支持集，则Aq-s为一个N*K的矩阵，其中N为专家模型的个数、K为支持集的长度。

(2) Support-Support Affinity

在这里插入图片描述

如图所示，同一个专家模型内没有受到攻击的(benign)支持集间的相似度往往会更大，而受到攻击的查(perturbed)支持集间的相似度却会更小。
通过该现象我们可以通过计算support-support关系矩阵来描述Support -Support Affinity
在这里插入图片描述

Sj代表的是第j个专家模型返回的支持集，则As-s为一个NK’的矩阵，其中N为专家模型的个数、其中K’ = K(K-1), K为支持集的长度，K*(K-1)/2是指K张图片都与其他的K-1张图片计算距离，但是由于余弦距离有对称性，所以除以2。

(3) Cross-Expert Affinity

在这里插入图片描述

如图所示，没有受到攻击的(benign)专家模型间的支持集的相似度往往会更大，而受到攻击的查(perturbed) 专家模型间的支持集的相似度却会更小。
通过该现象我们可以通过计算Cross-Expert关系矩阵来描述Cross-Expert Affinity
在这里插入图片描述

1(·)代表的是该图片在i个专家模型的支持集中出现且在第j个专家模型的支持集中出现时为1，否则为0。则Ac-e为一个N*K的矩阵，其中N为专家模型的个数, K为支持集的长度。
Adversarial attack detector
对抗攻击检测器讲上下文特征作为输入，输出结果为受到攻击与否(0/1)
在这里插入图片描述

抽象而来就是对输入的一维向量进行分类任务，其中分类器为MLP。

Experiments：

与过去的方法做对比：
在这里插入图片描述

其中(voting)是简单地使用所有专家模型的公共支持集样本的数量，是否大于一个阈值来判断攻击或良性。
Deep Mis-Ranking：一种数字攻击，通过扰乱检索的图片的排序公式来扰乱reid的结果。
advPattern：一种物理攻击，通过在衣服上添加了printable adversarial pattern，论文中直接将pattern数字化加入到人物图像中。

专家模型的消融实验：
在这里插入图片描述

其中，AR是测试的目标专家模型，可以看出，如果不使用目标模型进行训练的话，准确率下降4%左右。而最好的结果是使用4个目标专家模型进行训练。

支持集K大小的对比实验：
在这里插入图片描述

三个上下文关系的消融实验：

在这里插入图片描述

Charles_zzz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Data-Free Adversarial Perturbations forPractical Black-Box Attack.pdf
04-17
实用黑箱攻击的无数据对抗扰动PDF论文，发表于2020-03-03 神经网络容易受到对抗性示例的攻击，这些示例是为欺骗预先训练的模型而设计的恶意输入。对抗性示例经常表现出黑匣子攻击的可转移性，这使得为一个模型设计的对抗性示例可以欺骗另一种模型。
Decision-Based Adversarial Attack With Frequency Mixup
11-16
pdf
计算机视觉最新进展概览2021年8月22日到2021年8月28日
weixin_36670529的博客
02-20 813
tensorflow出现LossTensor is inf or nan : Tensor had Inf valueshttps://blog.csdn.net/qq_22291287/article/details/82712050
【Adversarial Attack in Object Detection】物理对抗攻击和防御
prinTao的博客
06-21 2680
在计算机视觉中，根据实现领域，对抗性攻击可以分为数字攻击和物理攻击。数字攻击是指在摄像头成像之后对数字像素进行攻击，物理攻击是指在摄像头成像之前对物理对象进行攻击。虽然数字攻击（如 PGD [ madry2017towards ]、 MI-FGSM [ dong2018boosting ]、 C&W [ carlini2017towards ]和 Deepfool [ moosavi2016deepfool ]等）对 DNN 模型表现良好，但它们很难在现实世界中实施。因为数字扰动通常是全局的和不显眼的，很难
Multifeature Collaborative Adversarial Attack in Multimodal Remote Sensing Image Classification
Seaern的博客
03-20 457
深度神经网络具有较强的特征学习能力，但其脆弱性不容忽视。目前的研究表明，深度学习模型在遥感（RS）分类任务中受到对抗性示例的威胁，并且在面对对抗性攻击时其鲁棒性急剧下降。因此，已经研究了许多对抗性攻击方法来预测网络所面临的风险。然而，现有的对抗性攻击方法主要集中在单模态图像分类网络上，RS数据的快速增长使多模态RS图像分类成为研究热点。生成多模式对抗性示例需要考虑高攻击成功率、细微的扰动以及不同模式之间的协作攻击能力。
论文阅读——Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
yayayamaomaoya的博客
05-26 609
白盒攻击 Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses 文章连接 https://papers.nips.cc/paper/2020/file/ea3ed20b6b101a09085ef09c97da1597-Paper.pdf 代码连接 Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses | Paper
【论文阅读 | 对抗攻击】《On The Neural Representation For Adversarial Attack And Defense》
weixin_46447310的博客
11-26 67
通过扰动单个内容特征神经元，诸如深度分布边界攻击 (DDBA) 之类的方法旨在生成难以察觉的对抗示例，利用这些有意义的特征来欺骗模型。-深度分布边界攻击 (DDBA) 是一种通过扰动深度学习模型中的单个内容特征神经元来生成难以察觉的对抗样本的方法。它考虑了人类感知和检测激活值变化的方式的变化，旨在产生人类难以检测到的扰动。：DDBA 方法通过对单个内容特征神经元的激活值施加扰动来扰动这些神经元。-对固定激活值扰动的感知变化是指人类感知和检测神经网络中神经元激活值变化的方式的变化。
【论文阅读】CVPR2022 ||Towards Efficient Data Free Black-box Adversarial Attack
qq_45822394的博客
04-19 441
经典的黑盒对抗攻击可以利用类似替代模型生成的可转移对抗样本来成功欺骗目标模型。然而，这些替代模型需要通过目标模型的训练数据进行训练，由于隐私或传输原因，很难获得。认识到对抗性查询的真实数据的可用性有限，最近的工作提出在无数据黑盒场景中训练替代模型。然而，他们基于生成对抗网络（GAN）的框架存在收敛失败和模型崩溃的问题，导致效率低下。在本文中，通过重新思考生成器和替代模型之间的协作关系，我们设计了一种新颖的黑盒攻击框架。所提出的方法可以通过少量的查询有效地模仿目标模型，并获得较高的攻击成功率。
【论文阅读】A survey on adversarial attacks and defences
juli_eyre的博客
10-06 732
对抗攻击综述
论文阅读《Review of Artificial Intelligence Adversarial Attack and Defense Technologies》
丶夜未央丶的博客
06-06 892
本文翻译了该综述文章的部分内容
1907.10343.pdf （介绍了“Multi-adversarial Faster-RCNN for Unrestricted Object Detection”)
09-17
这是一篇很好的文章，介绍了“Multi-adversarial Faster-RCNN for Unrestricted Object Detection”
Targeted-Adversarial-Attack:一种有针对性的对抗攻击方法，赢得了NIPS 2017有针对性的攻击攻击竞赛
05-16
有针对性的专业攻击 介绍 该存储库包含提交给的前1名提交者的代码。... title={Boosting Adversarial Attacks with Momentum}, author={Dong, Yinpeng and Liao, Fangzhou and Pang, Tianyu and Su,
Cloud-based-autonomous-vehicles-adversarial-attack
05-08
基于轻型接缝雕刻的基于云的自动驾驶汽车识别区域脆弱性研究 这项研究旨在实现一种算法，该算法会攻击实体识别服务，该服务会分析和处理自动驾驶汽车的实时图像。 Tiny-YOLO是一种通过改进的Seam Carving实时去除...
论文阅读——Imperceptible Adversarial Attack via Invertible Neural Networks
yayayamaomaoya的博客
08-18 1741
作者利用可逆神经网络(AdvINN)方法进行对抗性攻击，生成鲁棒且难以察觉的对抗性示例。AdvINN利用INN的信息保留属性，添加目标类的指定信息、删除与原始类别不同的信息来生成对抗样本。
【论文阅读】CVPR2023 || Adversarial Attack with Raindrops
qq_45822394的博客
04-21 1156
众所周知，深度神经网络(DNN)容易受到对抗样本的攻击，这些对抗样本通常是人为设计来欺骗DNN的，但在现实世界中很少存在。在本文中，我们研究了由雨滴引起的对抗样本，以证明存在大量的自然现象能够作为DNN的对抗性攻击者。此外，我们提出了一种新的方法来生成对抗雨滴，表示为AdvRD，使用生成对抗网络(GAN)技术来模拟自然雨滴。我们的AdvRD制作的图像看起来与现实世界的雨滴图像非常相似，在统计上接近真实雨滴图像的分布，更重要的是，它可以对最先进的DNN模型进行强烈的对抗攻击。
【论文阅读】Diffusion Models for Imperceptible and Transferable Adversarial Attack
qq_45822394的博客
05-20 1282
许多现有的对抗攻击在图像RGB空间上产生Lp范数扰动。尽管在可迁移性和攻击成功率方面取得了一些成就，但精心制作的对抗样本很容易被人眼感知。对于视觉的不可感知性，最近的一些研究探索了不受Lp范数约束的无限制攻击，但缺乏攻击黑盒模型的可迁移性。在这项工作中，我们通过利用扩散模型的生成和判别能力，提出了一种新的难以察觉和可迁移的攻击。
【论文阅读】ROSA: Robust Salient Object Detection Against Adversarial Attacks
Gillian_z
07-18 1608
模型 A. 显著目标检测的对抗样本如何生成？ 一个迭代的基于梯度的流水线iterative gradient-based pipeline（根据[62]）来合成对抗样本。需要一个预先训练好的SOD神经网络，一些图片及其在像素级别上标注的显著性图。 FGM方法： yyy:0代表不显著，1代表显著 ϵ\epsilonϵ:误差范围上限。满足L∞L_{\infty}L∞​约束∣∣x−x∗∣∣≤ϵ||x-x...
【深度学习】一篇适合新手的深度学习综述
fengdu78的博客
02-23 348
本文转载自机器之心。这篇综述论文列举出了近年来深度学习的重要研究成果，从方法、架构，以及正则化、优化技术方面进行概述。机器之心认为，这篇综述对于刚入门的深度学习新手是一份不错的参考资料，在形成基本学术界图景、指导文献查找等方面都能提供帮助。论文：Recent Advances in Deep Learning: An Overview论文地址：https://arxiv.org/pdf/1807....
[数据集][目标检测]蕃茄核桃桔子龙眼青枣5种水果检测数据集VOC+YOLO格式270张5类别
最新发布
FL1623863129的博客
05-16 130
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)标注类别名称:[“fanqie”,“hetao”,“juzi”,“longyan”,“qingzao”]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：270。标注数量(xml文件个数)：270。标注数量(txt文件个数)：270。标注规则：对类别进行画矩形框。
nips17-adversarial-attack代码运行环境
04-04
nips17-adversarial-attack代码的运行环境需要具备以下条件： 1. Python 3.5或更高版本； 2. PyTorch 0.4或更高版本； 3. NumPy和SciPy库； 4. CUDA（如果使用GPU进行计算）。 建议在Linux或macOS操作系统下运行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值