Multifeature Collaborative Adversarial Attack in Multimodal Remote Sensing Image Classification

Abstract：

深度神经网络具有较强的特征学习能力，但其脆弱性不容忽视。目前的研究表明，深度学习模型在遥感（RS）分类任务中受到对抗性示例的威胁，并且在面对对抗性攻击时其鲁棒性急剧下降。因此，已经研究了许多对抗性攻击方法来预测网络所面临的风险。然而，现有的对抗性攻击方法主要集中在单模态图像分类网络上，RS数据的快速增长使多模态RS图像分类成为研究热点。生成多模式对抗性示例需要考虑高攻击成功率、细微的扰动以及不同模式之间的协作攻击能力。在本文中，我们研究了多模式RS分类网络的脆弱性，并提出了一种用于生成多模式对抗性示例的多特征协作对抗性网络（MFCANet）。设计了两个模态专用生成器来生成具有较强攻击能力的多模态协同扰动，两个模态特异鉴别器使生成的多模态对抗性实例更接近真实实例。此外，提出了特定模态的生成损失和特定模态的判别损失，并设计了一种交替优化策略来训练所提出的MFCANet。在国际摄影测量与遥感学会（ISPRS）Vaihingen 2D数据集和ISPRS Potsdam 2D数据集上进行了广泛的实验。结果表明，该方法的攻击性能强于快速梯度符号法（FGSM）、投影梯度下降法（PGD）以及Carlini和Wagner（C&W）攻击方法。

Introduction：

遥感（RS）图像分类（语义分割）旨在为每个像素分配一个语义标签，这在遥感领域仍然是一项具有挑战性的任务[1]，[2]，[3]。多模式遥感数据对土地覆盖有不同的观测结果，例如证明遥感的高空间分辨率信息的真实正射影像（TOP）数据和证明物体高度信息的数字表面模型（DSM）数据[4]。基于多模态RS数据的优势，研究了多模态分类方法，以降低分类的不确定性[5]。近年来，深度神经网络已被广泛引入多模式RS图像分类任务[6]，[7]，[8]。多模式RS图像分类的基本思想是通过多层深度架构学习特定于模态的判别特征，并将不同流的特征输入到联合表示中。与单模态RS分类方法相比，多模态RS分类法通过利用两种模态之间的相关性，可以获得更高的分类精度。尽管如此，深度学习模型具有优越的特征学习能力，但不幸的是，Szegedy等人报道了其脆弱性。[9]。他们发现，在合法图像中插入细微的扰动会导致网络做出错误的预测。使网络错误分类的例子被称为对抗性例子[10]。然后，几项工作研究了深度学习模型在许多不同任务中的脆弱性，特别是在自然图像分类任务中[11]，[12]。深度学习模型的脆弱性也引起了RS研究人员的注意。在RS场景分类任务[13]、[14]、SAR图像分类任务[15]和高光谱图像分类任务[6]中，深度学习模型在面对对抗性示例时也表现出很强的敏感性，网络的鲁棒性大大降低。

我们需要提前了解网络面临的风险，这有利于评估和提高深度学习模型的稳健性。因此，研究了对抗性攻击方法，以找到生成对抗性示例的细微扰动[17]、[18]、[19]。这些对抗性攻击方法已经证明了攻击的有效性，这会大大降低被攻击模型（目标模型）的性能。 然而，目前的对抗性攻击方法主要集中在攻击单模态分类网络上，缺乏对多模态深度学习模型的对抗性进攻的研究。

为了分析多模式RS分类网络的鲁棒性，我们提出了一种攻击多模式RS分级网络的对抗性攻击方法，称为多特征协同对抗性网络（MFCANets）。与单模态对抗攻击方法相比，在多模态对抗攻击中，扰动被添加到两个数据源。因此，需要考虑两个方面来解决多模态扰动：1）生成的多模态对抗性实例应该更接近真实的多模态实例；2）对多个数据源的扰动应该具有协同攻击能力。我们应用生成对抗性网络来产生多模态扰动。RS图像通常包含更复杂的场景信息，直接生成复杂的对抗性示例会导致GAN训练的不稳定性。因此，模态特定生成器被设计为产生添加到合法实例的扰动，并且模态特定鉴别器被构造为将生成的对抗性实例限制为接近真实实例。此外，还设计了协作攻击损失来捕捉不同模态的扰动之间的关系。协同攻击可以有效地降低添加到每个数据源的扰动的强度，同时保持更高的攻击成功率。

为了评估所提出的MFCANet方法的有效性，使用三种最先进的攻击方法生成了多模式对抗性示例。从两个方面评估生成的多模态对抗性示例的质量：一是攻击成功率，二是对抗性示例与分类边界之间的距离。这个距离很难用数字来测量；因此，采用对抗性训练的防御策略来评估攻击性能。对原始目标模型和防御模型的分类结果表明，MFCANet生成的多模式对抗性示例具有更优越的攻击性能。这种优势可能是由于这两种模式的对抗性例子更接近它们的真实例子，并且具有更强的协作攻击能力。

本研究的主要贡献如下 ：

• 我们提出了一种新的多模式协同对抗性攻击方法来攻击多模式RS分类网络。所提出的多模态对抗性攻击方法使用模态特定的GANs训练多模态对抗扰动，可以获得更接近分类边界的对抗性示例。据我们所知，这是对攻击多模式RS分类网络的首次研究。

• 我们开发了协作攻击损失，以提高不同模态扰动之间的协作攻击能力。协同攻击损失可以在较少的扰动下实现更强的攻击性能。

• 设计了一种迭代优化策略来训练模态特定生成器和模态特定鉴别器，以提高优化效率。

• 在两个开放的国际摄影测量和遥感学会（ISPRS）基准数据集上进行了广泛的实验，并使用TOP和DSM的日期来执行多模式分类任务。我们分别在目标模型和防御模型上测试了合法示例和对抗性示例的攻击成功率，并表明MFCANet实现了更强的攻击性能，并且生成的对抗性示例更接近分类边界。

献综述见第二节。第三节阐述了拟议的方法。实验结果见第四节。第五节进行了讨论，第六节讨论了结论和未来的工作。

文献综述：

最先进的对抗性攻击方法 ：

对抗性示例可以使训练有素的模型输出误差预测。在本节中，简要回顾了我们实验中使用的几种最先进的对抗性攻击方法。

1. FGSM

2. PGD

3. C&W

4. 基于生成对抗性网络（GAN）的对抗性攻击方法：与基于梯度和基于优化的对抗性进攻方法相比，基于GAN的方法生成更接近真实实例的对抗性示例[12]，[20]，[21]。Xiao等人[22]提出了一种AdvGAN方法来提高生成的对抗性示例的感知质量，并且对抗性示例是用GAN生成的。Jandial等人[23]提出了一种advGAN++方法，其中潜在特征作为对抗性生成的先验知识。Liu和Hsieh[24]提出了一种Rob-GAN方法，其中生成器和对抗性攻击者可以在训练过程中相互受益。Cheng等人[25]提出了一种扰动寻求GAN模型，以生成更具自适应性的对抗性示例。

与上述方法不同，我们专注于在基于GANs的多模式RS图像中生成协作扰动

RS领域的对抗性攻击 ：

自然图像分类网络的脆弱性也引起了RS图像分析领域研究人员的注意。Xu等人[13]和Chen等人[14]研究了对抗性示例对RS场景分类任务的影响。他们发现，攻击算法可以欺骗几个最先进的RS场景分类网络，网络的鲁棒性大大降低。Li等人[15]研究了SAR图像分类网络的鲁棒性，并分析了网络在面对对抗性示例时的脆弱性和敏感性。Xu等人[16]证明了高光谱图像分类网络中存在对抗性示例，并提出了一种防御策略来防御高光谱对抗性示例。Du等人[26]提出了一种快速C&W对抗性攻击算法，以减少SAR目标识别任务的攻击时间。在我们之前的工作中，我们提出了一种用于高光谱图像分类网络的target傻瓜对抗性攻击算法[27]。尽管上述工作已经对RS领域的对抗性攻击进行了初步探索，但该研究仍处于初级阶段，尤其是关于多模式RS分类任务中的对抗性示例。

对抗性训练 ：

对抗性训练是对抗性例子的有效防御策略。在对抗性训练中，生成的对抗性示例被合并到训练集中，以重新训练目标模型[10]，[28]。这种防御策略简单有效，但防御效果取决于对抗性示例的质量。经过重新训练的防御模型应该能够抵御对抗性示例的攻击，同时减少对合法示例分类准确性的影响。在本文中，使用对抗性训练策略来评估所提出的攻击模型的攻击性能。

方法：

图1显示了所提出的MFCANet的体系结构。假设两个输入模态是TOP（R-G-B三个频带）和DSM（一个频带）。MFCANet的体系结构由三部分组成：两个模态特定生成器GT和G D，两个模态特异鉴别器DT和DD，以及一个目标模型f。模态专用生成器被设计为生成每个模态的扰动。模态特定鉴别器被设计用于区分合法示例和生成的对抗性示例。目标模型鼓励对生成的示例进行错误分类。所提出的模态具有端到端的形式。所提出方法的细节如下所述

多功能协同对抗攻击