NeurIPS 2024 | CMPS：针对行人重识别的跨模态扰动协同攻击-CSDN博客

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

添加微信号：CVer2233，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

论文链接: https://arxiv.org/pdf/2401.10090

论文介绍

该论文首次针对跨模态行人重识别（ReID）模型安全性问题的深入研究。论文提出了一种全新的攻击方法，即跨模态扰动协同攻击（Cross-Modality Perturbation Synergy, CMPS），它专注于应对不同图像模态（如RGB和红外图像）之间的视觉差异，从而破坏跨模态ReID模型的正常识别能力。

这项研究的核心在于，当前的攻击方法大多局限于单一模态（如可见光RGB图像），而忽视了跨模态场景中的复杂性。跨模态ReID在实际应用中更加常见，尤其是涉及红外摄像头等非可见光的监控场景。红外图像通常是灰度图，缺乏可见光图像中的颜色信息，这使得不同模态之间的数据分布存在巨大差异，导致现有的攻击方法难以同时应对多种模态。

图1展示了传统单模态攻击方法与提出的跨模态扰动协同攻击（CMPS）方法的对比。传统方法（如FGSM、PGD）仅适用于单模态任务，无法有效应对跨模态场景中的数据差异，因而无法同时误导RGB与红外图像的检索结果。而CMPS方法通过协同优化机制，关联不同模态的数据特征，从而生成跨模态的通用扰动，能够在多种图像模态下同时误导模型的检索结果，显著提升了攻击的成功率。

为了应对这些挑战，论文提出了一种通用的扰动攻击方法，通过从不同模态的数据中提取梯度信息，协同优化生成通用扰动。这种方法能够有效破坏跨模态ReID系统，使其难以准确区分身份。论文通过引入跨模态三元组损失（triplet loss），保证不同模态之间特征的一致性，从而增强扰动的泛化性。为了进一步减少不同模态之间的视觉差异，论文还提出了跨模态攻击增强方法，利用随机灰度转换将图像转换为灰度，从而标准化视觉表示，并帮助模型学习模态无关的扰动。

这篇论文的贡献总结

> 1.该方法首次针对跨模态行人重识别（ReID）模型安全性问题的深入研究。通过将跨模态约束明确纳入协同优化过程，增强了所学习到的跨模态扰动的普适性。此外，论文还提供了数学分析，证明所提出的方法相较于传统方法具有更好的优越性。

> 2.提出了一种跨模态攻击增强方法，利用随机灰度转换来缩小不同模态之间的差距，从而帮助所提出的跨模态扰动协同攻击更好地捕捉跨模态间的共享特征。

图2展示了跨模态扰动协同攻击（CMPS）的工作机制，首先通过随机灰度变换缩小RGB和红外图像之间的模态差异，接着从不同模态中提取梯度信息，逐步优化生成通用扰动。该扰动在不同模态间不断迭代更新，最终将各模态下的图像特征推向一个共同的区域，从而误导模型无法准确区分身份，实现对跨模态ReID模型的有效攻击。

在图2中，多模态梯度的协同优化是CMPS方法的核心部分，旨在通过融合不同模态的梯度信息来生成具有跨模态适应性的通用扰动。具体而言，CMPS的协同优化过程可以分为以下几个步骤：

首先，针对RGB模态，模型会提取其对应的梯度信息，并利用这些信息生成初步的扰动。这些扰动在初期阶段主要是针对RGB图像的攻击。接下来，CMPS方法将这个初步（由RGB可见光模态）生成的扰动施加到红外模态的图像上，并通过提取红外模态的梯度信息，进一步优化和调整该扰动，使其不仅能够有效攻击RGB图像，还能够在红外模态下保持攻击效果。这个过程中，每个模态的梯度信息都被用于更新和完善扰动，确保扰动在所有模态下都能保持一致的攻击效果。

这个协同优化的机制使得扰动不仅针对单一模态（如RGB），而是能够跨模态地应用。通过多轮的梯度优化，扰动逐渐捕捉到多模态下的共同特征，并优化到可以同时攻击RGB和红外图像。这种机制确保了扰动在不同模态下的广泛适应性和有效性，而不仅仅是局限于某一模态的攻击。此外，协同优化的最终结果是，将各模态的图像特征逐渐推向同一特征空间，破坏了模型对于不同模态特征的辨别能力。

算法伪代码如下：

综上所述，多模态梯度的协同优化是通过不断利用每个模态的梯度信息来迭代更新扰动，使得最终生成的通用扰动能够同时在RGB和红外模态下进行有效的攻击，提升了攻击的普适性和威力。

sh）操作，也就是说，不同模态下的正样本特征会被扰动向两边推开，增加相同身份样本的特征距离。而负样本之间会进行拉近（Pull）操作，即扰动会减小不同身份样本的特征距离，确保它们在特征空间中的位置靠拢。

三元组损失的指导：图中的推拉机制依赖于三元组损失函数的指导。三元组损失确保正样本在扰动作用下，模态间特征尽量远离，而负样本特征尽量靠近，从而有效学习到跨模态的通用扰动。这一过程确保扰动不仅能在一个模态上起作用，还能在不同模态之间保持一致的攻击效果。

图4展示了跨模态攻击增强（Cross-modality attack augmentation）的策略。为了解决可见光模态（Visible Modality）和非可见光模态（如红外模态）的差异，提出使用灰度模态作为桥梁。在跨模态重识别任务中，不同模态的数据分布存在显著差异。为缩小可见光和红外模态的差距，图4展示了通过将图像转换为灰度模态，缩小不同模态之间的视觉差异，使得扰动能够在模态间更好地通用。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和ReID交流群成立

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者ReID微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者ReID+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看