论文《Frequency constraint-based adversarial attack on deep neural networks for medical image classific

Bunny_Ben

已于 2024-09-25 10:13:42 修改

阅读量1k

点赞数 18

分类专栏：论文阅读笔记（图像对抗攻击与防御）文章标签：机器学习深度学习人工智能笔记神经网络

于 2024-09-20 15:11:04 首次发布

本文链接：https://blog.csdn.net/bunny___/article/details/142386108

版权

论文阅读笔记（图像对抗攻击与防御）专栏收录该内容

1 篇文章 0 订阅

订阅专栏

【Frequency constraint-based adversarial attack 2023 CIBM】现有的攻击方法容易被检测出。为了提高医学对抗样本的有效性和隐蔽性，本文提出了一种利用**图像语义特征信息（semantic feature information of images）**生成对抗样本的新方法。由于图像的底层信息存在于低频和纹理（texture），边缘细节和噪声存在于高频，该方法将对抗样本限制在低频，并将噪声限制在高频，从而使生成的对抗样本更不可检测。通过这样做，生成的对抗性样本中的扰动主要位于难以察觉的区域。

本文发表在2023年CIBM期刊上，第一作者（博导）学校：南航，引用量：4。

CIBM期刊简介：全称Computers in Biology and Medicine，影响因子7.7，中科院一区。

查询会议/期刊：

会伴：https://www.myhuiban.com/
CCF deadline：https://ccfddl.github.io/
Master Journal List：Web of Science Master Journal List - Journal Profile (clarivate.com)

原文和开源代码链接：

paper原文：https://linkinghub.elsevier.com/retrieve/pii/S0010482523007138
开源代码：None

0、核心内容

现有的攻击方法容易被检测出。为了提高医学对抗样本的有效性和隐蔽性，本文提出了一种利用**图像语义特征信息（semantic feature information of images）**生成对抗样本的新方法。由于图像的底层信息存在于低频和纹理（texture），边缘细节和噪声存在于高频，该方法将对抗样本限制在低频，并将噪声限制在高频，从而使生成的对抗样本更不可检测。通过这样做，生成的对抗性样本中的扰动主要位于难以察觉的区域。

1、先验知识

① 什么叫特征空间中的语义相似性（semantic similarity in the feature space）？

特征空间：在机器学习中，特征空间是数据的特征向量的集合，可以看作是由数据集所有可能的特征向量组成的多维空间。深度学习模型通过学习将输入数据（如图像、文本等）映射到这个特征空间中。
语义相似性：指的是两个或多个数据点在语义上的相关性或相似度。在图像处理中，这意味着两张图片在内容、主题或视觉特征上的相似性。
特征空间中的语义相似性：指的是在深度学习模型的特征空间中，不同数据点的表示（特征向量）之间的相似性。如果两个数据点的语义内容相似，那么它们在特征空间中的表示也应该相近。例如，在图像分类任务中，属于同一类别的不同图像应该在特征空间中聚集在一起。

② 什么是分类层依赖的局限性（the limitations of classification layer reliance）？

分类层：在深度神经网络中，分类层通常指的是网络的最后一层或最后几层，其目的是将学习到的特征映射到特定的类别标签上。这一层通常包含softmax或sigmoid激活函数，用于输出每个类别的概率。
分类层依赖的局限性：指的是在设计对抗性攻击或数据增强等策略时，如果过分依赖于分类层的输出（如通过最大化分类错误率来生成对抗样本），可能会导致模型对输入数据的微小变化过于敏感。这种依赖可能会限制模型的泛化能力，因为分类层的决策边界可能过于僵硬，不易适应新的或未见过的数据。
克服这种局限性：通过在特征空间中操作，而不是直接在分类层上操作，可以提高模型的泛化能力和对抗性攻击的转移性。这意味着通过改变输入数据的特征表示，而不是仅仅改变输出类别概率，可以使对抗性攻击更加隐蔽和有效。

③ 为什么高频成分难以察觉？

高频成分在图像中通常与细节、纹理和边缘等特征相关，而低频成分则与图像的基本结构和平滑区域相关。人眼对高频成分难以察觉的原因包括：

视觉感知特性：人的视觉系统对图像中的低频信息更为敏感，这是因为人眼对亮度和色彩的变化更敏感，而这些通常在低频区域表现更为明显。相比之下，高频细节如细小纹理和噪声，对人眼来说则不那么明显。
视觉敏感度和分辨率：人眼的视网膜上，感光细胞（视锥细胞和视杆细胞）的分布是不均匀的。在视网膜的中央凹区域，感光细胞密度较高，对细节的感知能力较强。但随着远离中央凹，感光细胞的密度降低，对高频细节的感知能力也随之减弱。
视觉注意力：人们在观察图像时，往往会将注意力集中在图像的主要对象和感兴趣的区域，这些区域往往包含了更多的低频信息。高频细节通常不会引起太多的注意，因此在视觉上容易被忽视。
视觉适应性：人的视觉系统具有适应性，能够快速适应图像中的背景和光照变化，这通常涉及到低频信息。而高频变化，如细小的纹理和噪声，往往被视为不重要的信息而被大脑过滤掉。
图像处理和编码：在图像压缩和传输过程中，通常会对高频成分进行更多的压缩，因为它们对整体图像质量的影响较小。这种处理方式进一步说明了高频成分在视觉上的重要性较低。

因此，高频成分的这些特性使得它们在对抗性攻击中非常有用，以为可以对这些成分进行微小的修改，而这些修改对人类观察者来说几乎不可察觉，但可能足以欺骗深度学习模型，导致错误的分类。

④ 什么是频率约束（frequency constraint）？

频率约束是信号处理和图像处理中的一种技术，它用于限制或控制信号在频率域中的某些特性。在对抗性攻击和图像处理的上下文中，频率约束通常用来确保在修改图像时，修改主要发生在对人类视觉系统不那么明显的频率区域，从而使得修改后的图像在视觉上与原始图像难以区分，但足以影响深度学习模型的决策。

在对抗性攻击的背景下，频率约束的目的是：

保持视觉相似性：通过主要在高频区域（如纹理和细节）注入扰动，同时保留低频区域（如图像的主要结构和内容），使得对抗性示例与原始图像在视觉上保持高度相似。
提高攻击的隐蔽性：高频信号对人眼几乎是不可察觉的，因此，通过在高频区域添加扰动，对抗性攻击可以更难被人类观察者发现。
增强模型的欺骗性：尽管对抗性扰动对人类视觉影响不大，但它们足以欺骗深度神经网络，导致错误的分类或预测。

在技术上，频率约束可以通过以下步骤实现：

傅里叶变换：将图像从空间域转换到频率域。在频率域中，图像的低频成分通常集中在变换后的图像中心，而高频成分则分布在边缘。
频率过滤：通过设计特定的滤波器（如低通滤波器、高通滤波器、带通滤波器），可以有选择地允许或阻止特定频率范围的成分。
扰动注入：在频率域中，将精心设计的扰动添加到图像的高频成分中，然后通过逆傅里叶变换将修改后的频率域图像转换回空间域。
优化和调整：通过优化算法调整扰动，以满足特定的频率约束条件，同时最大化对抗性攻击的效果。

频率约束是对抗性攻击中提高攻击隐蔽性和有效性的重要技术，它利用了人类视觉系统对高频信号不敏感的特性，以及深度学习模型对高频信息的敏感性。

⑤ 什么是图像语义特征信息（semantic feature information of images）？

**图像语义特征信息指的是从图像中提取的能够代表图像内容和含义的信息。**在深度学习和图像处理领域，语义特征通常是指那些能够捕捉图像中物体、场景或活动的深层含义的特征。这些特征不仅仅是图像的原始像素值，而是经过处理的、能够表达图像高级抽象属性的信息。

深度特征：通常由深度神经网络（如卷积神经网络，CNN）提取，这些网络经过训练能够从图像中学习到有用的特征表示。这些特征能够捕捉到图像中的重要信息，如物体的形状、纹理、位置和大小等。
抽象层次：语义特征处于较高的抽象层次，它们不仅仅是图像的直接视觉表示，而是对图像内容的更深层次理解。例如，它们能够区分不同的物体类别，理解场景的布局等。
语义理解：语义特征使得机器能够进行语义级别的图像理解，比如识别图像中的对象、场景和活动，并理解它们之间的关系。
信息丰富度：语义特征包含了丰富的信息，它们通常比原始像素或简单的图像统计特征包含更多的内容信息，因此对于图像分类、目标检测、图像描述生成等任务非常有用。
跨模态对应：在多模态学习中，图像的语义特征可以与其他类型的数据（如文本描述）进行对应，以实现跨模态的理解和交互。
不变性：良好的语义特征应该对图像中的小变化（如旋转、缩放、光照变化等）具有不变性，这意味着即使图像的外观发生变化，提取的语义特征仍然能够保持稳定。
高级任务支持：语义特征支持执行复杂的图像分析任务，如场景理解、图像检索、图像标注和图像生成等。

在实际应用中，图像的语义特征信息通常通过训练深度学习模型来获得，这些模型能够自动从大量标记或未标记的数据中学习到有用的特征表示。这些特征随后可以用于各种计算机视觉和机器学习任务。

⑥ 什么是多模态学习？

多模态学习是一种机器学习范式，它涉及到处理和理解来自多种不同信息源或模态的数据。在多模态学习中，模型被训练来识别、整合和学习不同类型数据之间的关系，以提高任务的性能或获得更丰富的数据表示。这些模态通常包括但不限于：

文本：可以是书面语言、口语或符号，如文章、书籍、对话、标题等。
图像：静态图片、视频帧、图解等视觉信息。
音频：声音、音乐、语音等声音信息。
视频：结合了图像和音频的动态视觉信息。
传感器数据：来自物联网设备、可穿戴设备等的原始数据。

多模态学习的关键特点和挑战包括：

数据融合：将来自不同模态的信息结合起来，以便模型可以同时理解图像、文本和声音等多种信息。这可能涉及到特征提取、特征融合和联合表示学习。
异构性：不同模态的数据具有不同的特性和结构，如文本是序列数据，图像是网格数据，而音频是时序信号。处理这些异构性是多模态学习中的一个挑战。
语义对齐：不同模态可能从不同角度描述同一概念，因此需要对齐它们的语义空间，以便模型能够理解不同模态之间的关联。
信息互补：不同模态可能提供互补的信息。例如，文本可以提供关于图像内容的详细描述，而图像可以提供文本中未提及的视觉细节。
应用广泛：多模态学习在许多领域都有应用，如自动驾驶汽车、智能助手、健康诊断、情感分析、机器人交互等。

多模态学习的目标是建立能够处理和理解多种类型数据的模型，以实现更准确和全面的数据分析和决策。这通常涉及到复杂的算法和技术，如深度学习、注意力机制、端到端学习等。通过多模态学习，机器能够更接近人类的认知方式，即同时利用多种感官和信息源来理解世界。

2、引言

现有重要结论（背景）：

深度神经网络（DNNs）在许多自然图像分析任务中取得了成就，DNNs已被证明是高效的和有用的自动医学图像分类。
DNNs容易受到各种攻击，这对于具有高安全要求的医疗诊断系统构成严重威胁。
为了开发一个安全的医疗诊断系统，设计有效的对抗性攻击至关重要，能够识别和暴露系统中的漏洞，从而使研究人员能够提高其对潜在攻击的健壮性。
现有的攻击方法，例如投影梯度下降（PGD）攻击，采用全局置乱的方法向图像添加噪声，很容易检测出，如图1。

在这里插入图片描述

本文方法：

为了提高医学对抗样本的有效性和隐蔽性，本文提出了一种利用**图像语义特征信息（semantic feature information of images）**生成对抗样本的新方法。由于图像的底层信息存在于低频和纹理（texture），边缘细节和噪声存在于高频，该方法将对抗样本限制在低频，并将噪声限制在高频，从而使生成的对抗样本更不可检测。通过这样做，生成的对抗性样本中的扰动主要位于难以察觉的区域，如物体边缘，如图1(b)所示。

攻击方法：低频约束，将扰动限制在高频分量。
攻击对象：特征表示的语义相似性。
优点：良好的可转移性和不可感知性。

主要贡献：

良好的可转移性（Good transferability）：传统的白盒攻击方法通常通过最大化损失或改变对数来生成对抗性样本，这在很大程度上依赖于最终分类层的学习到的权重向量。相比之下，我们的方法侧重于攻击特征表示中的语义相似性，完全扰动了分类层。干扰这种表示被证明有利于在医疗领域实现对抗性样本的良好可转移性。该方法具有较好的性能和较高的可转移性，优于其他攻击方法。
对人类的视觉具有良好的不可感知性（Good imperceptibility to human vision）：现有的研究表明，对于人类视觉系统，高频信号几乎难以察觉，但它们可以极大地影响DNNs的预测结果。在此基础上，我们的方法引入了低频约束，将扰动限制在高频成分上，促进了对抗实例的不可感知性。我们的方法产生了更少的扰动，并更多地集中于高频成分，如边缘和纹理。此外，与现有方法相比，我们的方法在视觉差异更小、不可感知性方面是有效的。
对不同医学中图像分类任务的适用性（Good applicability to different medical image classification tasks）：我们的实验包括4个公共医学图像数据集，包括三维CT数据集、二维胸部X线图像数据集、二维乳腺超声数据集和二维甲状腺超声数据集。这些公共医学图像数据集包含不同的成像方式和维度。在这些公共医疗诊断数据集上进行的大量实验表明，该方法可以为这些不同的医学图像分类任务生成对抗性的例子。

3、相关工作

人们提出了多种方法来生成对抗性例子，可分为三类：

基于梯度的方法（gradient-based）
- 《Explaining and Harnessing Adversarial examples》（简称《FGSM》）
- 《Towards deep learning models resistant to adversarial attacks》
基于查询的方法（query-based）
- 《Zoo：zeroth order optimization based black-box attacks to deep neural networks without training substitute models》
- 《Decision-based Adversarial Attacks：Reliable Attacks against Black-Box Machine Learning models》
基于传输的方法（transfer-based）
- 《Toward understanding and boosting adversarial transferability From a distribution perspective》
- 《Practical Black-Box Attacks against Machine learning》

以前的对抗性攻击可以通过最大化损失函数或改变对数来误导基于DNNs的分类模型，并且添加的扰动通过一个距离度量来约束，通常用 $l_p$ 范数来测量：

《Towards deep learning models resistant to adversarial attacks》
《Boosting Adversarial Attacks with momentum》
《Towards evaluating the robustness of neural networks》

先前的研究表明，高频信号对人类视觉系统几乎难以察觉，但它们可以极大地影响DNNs的预测结果：

《High-frequency Component Helps Explain the Generalization of Convolutional Neural networks》
《A fourier perspective on model robustness in computer vision》