医图论文 AAAI‘25 | FAMNet: 跨域少样本医学图像分割的频率感知匹配网络

最新推荐文章于 2025-04-23 20:03:01 发布

小敢摘葡萄

最新推荐文章于 2025-04-23 20:03:01 发布

阅读量1.1k

点赞数 12

文章标签：网络人工智能神经网络机器学习智能手机交互

本文链接：https://blog.csdn.net/xiaoganbuaiuk/article/details/145201967

版权

论文信息

题目：FAMNet: Frequency-aware Matching Network for Cross-domain Few-shot Medical Image Segmentation

FAMNet: 跨域少样本医学图像分割的频率感知匹配网络

源码：https://github.com/primebo1/FAMNet

论文创新点

跨域少样本医学图像分割任务的提出：本文首次提出了**跨域少样本医学图像分割（CD-FSMIS）**任务，旨在训练一个通用模型，能够在仅使用少量标注数据的情况下，在新目标域中分割新类别。
频率感知匹配（FAM）模块的设计：本文提出了一个频率感知匹配（FAM）模块，通过在特定频率带中执行支持-查询匹配，消除支持-查询偏差，并减少模型对具有显著域差异的频率带的依赖。
多光谱融合（MSF）模块的引入：为了进一步抑制域变信息（DVI）并整合不同频率带的特征，本文设计了一个多光谱融合（MSF）模块。
基于频率域的特征解耦与融合：本文通过频率域的特征解耦与融合，有效利用了不同频率带中的信息。

摘要

现有的少样本医学图像分割（FSMIS）模型未能解决医学成像中的一个实际问题：由于不同成像技术导致的域偏移，这限制了当前FSMIS任务的适用性。为了克服这一限制，作者专注于跨域少样本医学图像分割（CD-FSMIS）任务，旨在开发一个能够适应更广泛医学图像分割场景的通用模型，仅需来自新目标域的有限标注数据。受不同域之间频率域相似性特征的启发，作者提出了一种频率感知匹配网络（FAMNet），其中包括两个关键组件：频率感知匹配（FAM）模块和多光谱融合（MSF）模块。FAM模块在元学习阶段解决了两个问题：1）由于器官和病变外观不同导致的支持-查询偏差引起的域内差异；2）由于不同医学成像技术引起的域间差异。此外，作者设计了一个MSF模块，用于整合FAM模块解耦的不同频率特征，并进一步减轻域间差异对模型分割性能的影响。结合这两个模块，FAMNet在三个跨域数据集上超越了现有的FSMIS模型和跨域少样本语义分割模型，在CD-FSMIS任务中达到了最先进的性能。

关键词

跨域少样本医学图像分割，频率感知匹配，多光谱融合，域偏移，少样本学习

III. 方法

B. 总体架构

所提出的网络如图2所示，可以简要分为三个主要部分：1）用于生成查询掩码粗略预测的粗略预测生成（CPG）模块；2）用于执行支持-查询前景特征频率感知匹配的频率感知匹配（FAM）模块；3）用于基于各自频率带融合特征的多光谱融合（MSF）模块。

首先，支持图像和查询图像被输入到一个权重共享的特征编码器中，以提取相应的特征图。接下来，使用CPG模块获得查询前景掩码的粗略预测。然后，在CPG中计算的支持前景特征、生成的粗略查询掩码和提取的查询特征被输入到提出的FAM模块中进行频率感知匹配。在该模块中，特征被分为三个频率带，每个频率带通过由匹配结果引导的不同加权机制独立融合支持和查询特征，为每个频带生成融合特征。为了重新整合这些多光谱特征并进一步抑制域特定频率带（DSFBs）的影响，通过MSF模块对分割的特征进行融合。然后，执行全局平均池化操作以获得原型网络所需的前景原型。最后，计算前景原型与查询特征之间的余弦相似度，以生成查询掩码的最终预测。

C. 特征提取

作者使用在MS-COCO上预训练的ResNet-50特征编码器作为权重共享的主干来提取支持图像和查询图像的特征图，其中表示主干参数。

支持图像和查询图像的特征图分别表示为和，且，，其中表示特征的通道深度，和分别表示特征的高度和宽度。

D. 粗略预测生成（CPG）模块

使用基于原型网络的方法来获得查询图像的粗略分割掩码。给定支持图像及其对应的前景二值掩码，可以通过掩码平均池化（MAP）生成支持前景原型。数学上，这一过程可以表示为：

其中是特征图上的像素索引。

随后，作者直接使用计算得到的和提取的查询特征图来预测粗略查询前景掩码：

其中是负余弦相似度，固定缩放因子，表示Sigmoid激活函数，是由Hansen等人引入的可学习阈值。

E. 频率感知匹配（FAM）模块

1. 前景特征的多光谱解耦

为了减轻支持-查询前景之间的差异，作者首先使用支持掩码和粗略查询掩码从和中提取前景特征。由于支持图像和查询图像中的前景像素数量通常不同，作者应用自适应平均池化（AAP）将前景像素数量标准化为固定值。这一过程可以表示为：

其中表示哈达玛积，，表示提取的前景特征，是调整输入特征图沿最后一个维度到固定输出大小的自适应平均池化操作，表示将小数四舍五入为0或1的数学函数。

对于每个前景特征，作者使用二维快速傅里叶变换（FFT）将信号从空间域转换到频率域，同时保留空间信息。作者使用重塑函数将特征转换为方形，，其中是其逆函数。对于支持前景特征，这一过程可以表示为：

其中表示FFT，表示频率域特征表示，SC表示调整频率信号以使零频率分量居中的函数。

随后，作者应用带通滤波器将频率域信号分解为三个频带，即高频、中频和低频。最后，作者使用逆快速傅里叶变换（IFFT）将频率信号转换回空间域：

其中表示特定频率带中的支持前景特征，表示IFFT，是一个二值掩码向量，其中值为1表示保留的成分，0表示丢弃的成分，是带通滤波器，可以定义为：

作者对查询前景特征执行相同的操作，以获得，，。

2. 基于多光谱注意力的匹配

如图1所示，高频和低频信号在不同域之间变化显著。在典型训练中，模型通常依赖这些DSFBs来更好地适应当前场景中的任务。然而，这种依赖会导致对某些显著特征的过拟合。例如，模型可能通过专注于DSFBs中的信息（如高频边缘信息）在CT图像上实现精确分割。然而，这种方法在转移到边缘信息不明显的未见域（如MRI）时往往表现不佳。作者提出的方法旨在通过匹配支持-查询特征的同时减少模型对DSFBs的依赖，从而增强模型的泛化能力。

具体来说，该模块包括三个过程，如图2的右上部分所示。首先，给定属于同一频率带的支持和查询前景特征对，作者使用两个可学习的矩阵，进行线性变换，将特征映射到联合空间。这进一步减少了支持-查询之间的域内差异，增强了匹配的稳定性。这一操作可以表示为：

其中，分别表示变换后的支持-查询前景特征。

其次，基于变换后的特征，作者使用余弦相似度计算特征之间的基于注意力的相似度矩阵：

其中表示计算的注意力矩阵，表示Sigmoid激活函数。在训练过程中，作者的模块通过可学习的变换矩阵和更新特征之间的注意力分数，使模型能够更好地学习特征之间的域不变相似性。

第三，基于DSFBs和域不变频率带（DAFBs）应区别对待的概念，作者对三个频率带中的特征对应用不同的注意力加权方法。为了匹配和的大小，作者首先通过沿通道维度重复获得。对于DAFBs中的特征对，作者直接将注意力矩阵与特征进行逐元素相乘，以突出相似成分并抑制不相似成分：

其中和是DAFBs中的加权特征。

对于DSFBs中的特征对，作者执行反向注意力加权，以解决特征之间的相似成分，从而减少模型对这些成分的依赖：

其中和是DSFBs中的加权特征。

因此，FAM模块通过完成特征之间全光谱相似性的增强或抑制，由全光谱注意力权重导出。作者随后通过MLP传递连接的特征对，融合属于支持和查询的特征，获得一个新的融合特征，作为的最终特征表示：

其中表示特定频率带中的融合特征，是具有参数的MLP函数。值得注意的是，MLP由两个全连接层组成，中间有一个ReLU激活函数，可以更好地学习融合模式并减少MLP的参数，表示沿最后一个维度连接和的函数，作为指示DAFBs或DSFBs的指标。

F. 多光谱融合（MSF）模块

最近的研究和作者在补充材料中的实验揭示了频率域信号与图像特征信息之间的微妙关系：1）不同频率带包含不同的信息。低频和高频包含颜色和风格信息，而中频带包含更多的结构和形状信息；2）在跨域任务中，低频和高频在不同域之间表现出显著差异；3）直接丢弃高频和低频特征是不合理的，因为频率域分解无法完全解耦域变信息（DVI）和域不变信息（DII）。

这些见解引发了一个问题：_是否存在一种机制，可以在DAFBs的指导下提取DSFBs中剩余的DII？_ 作者因此考虑了跨注意力机制，该机制广泛用于多模态特征融合：当特征用作键（）和值（），而另一个特征用作查询（）时，生成的是特征的表示，由特征和特征之间的相似性加权。

基于这一知识，作者提出了MSF模块，一个基于跨注意力的特征融合模块。该模块在保留高频和低频信息的同时，使用中频信息从高频和低频特征中提取DII并抑制DVI。

具体来说，对于每个特征三元组，三个融合特征在频率域中不重叠，即，，，其中表示的光谱。然而，和，其中表示包含的信息。作者使用或以及计算给定特征之间的注意力。跨注意力（CA）的输出矩阵可以表示为：

其中表示缩放因子，表示注意力权重矩阵。因此，获得低频和高频成分的细化特征的过程可以表示为：

其中表示细化后的融合前景特征，，，是可学习的线性变换矩阵。

最后，作者执行简单的加法以整合来自三个频率带的特征，随后进行ReLU激活函数，作为模块输出：

作者使用融合的前景特征来计算最终的查询掩码。执行全局平均池化（GAP）操作以获得频率感知和查询信息的前景原型：

其中表示通道索引。

因此，作者提出的模型的最终查询前景预测可以以类似的方式在公式2中计算：

而背景预测可以通过获得。