【NeurIPS 2024】跨模态ReID对抗攻击的最新研究!Cross-Modality Perturbation Synergy Attack for Person Re-identificati

计算机视觉攻防领域 新坑，对抗攻防必读，强烈推荐！代码已开源！

论文链接: link.

在安全技术的不断发展中，跨模态行人重识别（ReID）成为了热点研究领域。然而，现有的对抗攻击和防御方法几乎都集中在单模态下，对于实际场景中的跨模态识别安全性研究极为匮乏。今天给大家带来的是NeurIPS 2024的最新力作——Cross-Modality Perturbation Synergy Attack for Person Re-identification，首次探索了跨模态ReID系统的安全性，开拓了新坑。

目前它在LLCM数据集上的攻击效果以及迁移攻击能力方面还有很大的提升空间，可以抓住机会填坑。

首个聚焦跨模态检索的安全性研究 ——不同于传统仅针对单模态的攻击方法，改研究突破了这一局限，首次探索跨模态重识别系统的安全性，这正是当下多传感器世界中亟需解决的难题。改论文开发了一种独特的协同攻击方法，利用不同模态之间的共享特征，有效迷惑同时训练RGB和红外图像的模型，大幅降低跨图像模态检索模型的识别精度。

图1展示了传统单模态攻击方法与提出的跨模态扰动协同攻击（CMPS）方法的对比。传统方法（如FGSM、PGD）仅适用于单模态任务，无法有效应对跨模态场景中的数据差异，因而无法同时误导RGB与红外图像的检索结果。而CMPS方法通过协同优化机制，关联不同模态的数据特征，从而生成跨模态的通用扰动，能够在多种图像模态下同时误导模型的检索结果，显著提升了攻击的成功率。

论文介绍

该论文首次针对跨模态行人重识别（ReID）模型安全性问题的深入研究。论文提出了一种全新的攻击方法，即跨模态扰动协同攻击（Cross-Modality Perturbation Synergy, CMPS），它专注于应对不同图像模态（如RGB和红外图像）之间的视觉差异，从而破坏跨模态ReID模型的正常识别能力。
这项研究的核心在于，当前的攻击方法大多局限于单一模态（如可见光RGB图像）缺乏对不同模态的内在关联机制，忽视了实际场景中跨模态的复杂性。跨模态ReID在实际应用中更加常见，尤其是涉及红外摄像头等非可见光的监控场景。红外图像通常是灰度图，缺乏可见光图像中的颜色信息，这使得不同模态之间的数据分布存在巨大差异，导致现有的攻击方法难以同时应对多种模态。
为了应对这些挑战，论文提出了一种关联不同模态的内在机制的通用扰动攻击方法，通过从不同模态的数据中提取梯度信息，协同优化生成通用扰动。这种方法能够有效破坏跨模态ReID系统，使其难以准确区分身份。论文通过引入跨模态三元组损失（triplet loss），保证不同模态之间特征的一致性，从而增强扰动的泛化性。为了进一步减少不同模态之间的视觉差异，论文还提出了跨模态攻击增强方法，利用随机灰度转换将图像转换为灰度，从而标准化视觉表示，并帮助模型学习模态无关的扰动。

这篇论文的贡献总结;

1.该方法首次针对跨模态行人重识别（ReID）模型安全性问题的展开了研究。通过将跨模态约束明确纳入协同优化过程，增强了所学习到的跨模态扰动的普适性。此外，论文还提供了数学分析，证明所提出的方法相较于传统方法具有更好的优越性。

2.提出了一种跨模态攻击增强方法，利用随机灰度转换来缩小不同模态之间的差距，从而帮助跨模态扰动协同攻击更好地捕捉跨模态间的共享特征。

图2展示了跨模态扰动协同攻击（CMPS）的工作机制，首先通过随机灰度变换缩小RGB和红外图像之间的模态差异，接着从不同模态中提取梯度信息，逐步优化生成通用扰动。该扰动在不同模态间不断迭代更新，最终将各模态下的图像特征推向一个共同的区域，从而误导模型无法准确区分身份，实现对跨模态ReID模型的有效攻击。

在图2中，多模态梯度的协同优化是CMPS方法的核心部分，旨在通过聚合不同模态的梯度信息来生成具有跨模态适应性的通用扰动。具体而言，CMPS的协同优化过程可以分为以下几个步骤：

首先，针对RGB模态，模型会提取其对应的梯度信息，并利用这些信息生成初步的扰动。这些扰动在初期阶段主要是针对RGB图像的攻击。接下来，CMPS方法将这个初步（由RGB可见光模态）生成的扰动施加到红外模态的图像上，并通过提取红外模态的梯度信息，进一步优化和调整该扰动，使其不仅能够有效攻击RGB图像，还能够在红外模态下保持攻击效果。这个过程中，每个模态的梯度信息都被用于更新和完善扰动，确保扰动在所有模态下都能保持一致的攻击效果。

在传统优化中，类似于迁移学习时知识的灾难性遗忘，针对一种模态进行优化会导致对另一种模态的次优化，从而导致攻击偏向单一模态（就是图1的(a)情况）。所提出的协同优化的机制使得扰动不仅针对单一模态（如RGB），而是能够跨模态地应用。通过多轮的梯度优化，扰动逐渐捕捉到多模态下的共同特征，并优化到可以同时攻击RGB和红外图像。这种机制确保了扰动在不同模态下的广泛适应性和有效性，而不仅仅是局限于某一模态的攻击。此外，协同优化的最终结果是，将各模态的图像特征逐渐推向同一特征空间，破坏了模型对于不同模态特征的辨别能力。

算法伪代码如下：

综上所述，多模态梯度的协同优化是通过不断利用每个模态的梯度信息来迭代更新扰动，使得最终生成的通用扰动能够同时在RGB和红外模态下进行有效的攻击，提升了攻击的普适性和威力。

图3展示了基于三元组关系的跨模态通用扰动学习框架，用来解释如何通过正样本和负样本的关系来优化跨模态行人重识别（ReID）中的通用扰动生成。左侧显示了三个模态的正样本：可见光模态（Visible Modality）、灰度模态（Grayscale Modality）和红外模态（Infrared Modality），这些样本代表了不同模态下的同一身份。每个模态中的编号相同的样本代表同一个身份。右侧显示了负样本，它们来自不同身份的图像。和正样本相对，负样本来自可见光、灰度和红外模态，代表不同身份的图像数据。中心的“perturbation”（扰动）是基于样本之间的三元组关系进行优化的。正样本之间会进行推开（Push）操作，也就是说，不同模态下的正样本特征会被扰动向两边推开，增加相同身份样本的特征距离。而负样本之间会进行拉近（Pull）操作，即扰动会减小不同身份样本的特征距离，确保它们在特征空间中的位置靠拢。

三元组损失的指导：图中的推拉机制依赖于三元组损失函数的指导。三元组损失确保正样本在扰动作用下，模态间特征尽量靠近，而负样本特征尽量远离，从而有效学习到跨模态的通用扰动。这一过程确保扰动不仅能在一个模态上起作用，还能在不同模态之间保持一致的攻击效果。

图4展示了跨模态攻击增强（Cross-modality attack augmentation）的策略。为了解决可见光模态（Visible Modality）和非可见光模态（如红外模态）的差异，提出使用灰度模态作为桥梁。在跨模态重识别任务中，不同模态的数据分布存在显著差异。为缩小可见光和红外模态的差距，图4展示了通过将图像转换为灰度模态，缩小不同模态之间的视觉差异，使得扰动能够在模态间更好地通用。