MMR-Mamba: Multi-Modal MRI Reconstruction with Mamba and Spatial-Frequency Information Fusion 论文总结

向岸看

已于 2024-10-17 16:59:59 修改

阅读量1.4k

点赞数 19

文章标签： Mamba 图像重建

于 2024-10-13 22:35:23 首次发布

本文链接：https://blog.csdn.net/qq_45981086/article/details/142878561

版权

题目：MMR-Mamba: Multi-Modal（多模态） MRI Reconstruction（MRI图像重建） with Mamba and Spatial-Frequency Information Fusion（空间和频率域信息融合）

论文：https://arxiv.org/pdf/2406.18950

源码：（暂无）

一、摘要

研究背景：多模态MRI为诊断和治疗提供了有价值的补充信息。然而，实用性受到扫描时间延长的限制。为了加速采集过程，一种实用的方法是使用具有较短扫描时间的完全采样参考模态作为指导，根据欠采样k空间数据重建需要较长扫描时间的目标模态的图像。

研究问题：这项任务的主要挑战是全面有效地整合来自不同模式的互补信息，以实现高质量的重建。现有的方法难以解决这个问题：

1）基于卷积的模型无法捕获长距离依赖关系；
2）基于transformer的模型虽然在全局特征建模方面表现出色，但却难以解决二次计算复杂度。

主要工作：

为了解决这一困境，提出了MMR-Mamba，一个新的框架，彻底，有效地集成了多模态功能的MRI重建，利用Mamba的能力，捕捉远程依赖关系与线性计算复杂性，同时利用傅立叶域的全局属性。具体来说：

1. 首先，设计了一个 Target modality-guided Cross Mamba (TCM，目标指引的 Corss Mamba) 模块在空间域中，TCM 能够最大限度地恢复目标模态信息，通过 从参考模态中选择性合并相关信息。
2. 然后，引入了一个 Selective Frequency Fusion（SFF，选择性频率融合）模块，以 有效地整合傅立叶域中的全局信息，并且恢复高频信号 用于结构细节信息的重建。
3. 此外，设计了一个 Adaptive Spatial-Frequency Fusion（ASFF，自适应的空间频率融合）模块，ASFF能够 通过来自另一个域的相应通道来补充一个域中信息较少的通道，以实现交互地增强空间域和频率域。

实验效果：在 BraTS 和 fastMRI 膝关节数据集上进行的大量实验证明了 MMR-Mamba 优于最先进的重建方法。

二、引言

研究背景：

1) 背景：磁共振成像（MRI）是一种重要的临床成像技术，因为它具有无创、无辐射的特性，并且能够提供不同模态的高分辨率形态信息。例如，脑部MR成像 + 膝关节成像（应用）
2) 问题：然而，由于k空间中的顺序数据采集，MR成像固有地耗时，这导致患者不适和增加的操作成本。因此，临床实践中迫切需要加速 MR 成像，特别是通过从采样不足的k空间数据重建高质量MR图像。

前人工作：

1）早期的方法采用卷积神经网络（CNN）来整合多模态信息，但它们通常表现出局部敏感性和缺乏远程依赖性。
2）相比之下，基于Transformer的模型在捕获广泛的上下文信息方面往往超过CNN。然而，这些模型负担了大量的计算开销，由于相对于序列长度的二次增长的资源。

解决方法：

1）最近，具有选择性扫描机制的改进的结构化状态空间序列模型 Mamba 已经成为了令人信服的Transformer替代方案，以线性复杂度对长范围序列关系进行建模。
2）另一方面，频域中的每个分量表示了空间域中所有像素值的组合，这意味着频域特征能够捕获整体图案和结构，提供整个图像的全局视图。研究表明，傅立叶特征有利于恢复高频信号，高频信号对解决图像退化问题至关重要。因此，可以通过在频域中执行特征融合来实现跨不同模态的全面且高效的全局特征集成。

主要工作：

1）简单概述：提出了一种新的多模态MRI重建框架 -- MMR-Mamba。MMR-Mamba基于Mamba架构，在空域和频域上联合探索互补信息融合，分别由目标模态引导的交叉Mamba（TCM）模块和选择性频率融合（SFF）模块实现。

2）模块作用：

1. 设计了基于 TCM 的空间域信息融合算法，通过 Cross Mamba 选择性地将参考模态的相关特征补充到目标模态中。
2. 在频域的 SFF 模块中，对相位谱进行逐元素求和，对幅度谱进行选择性积分，因为两种模态的相位谱主要包含一致的结构信息，而来自不同模态的幅度谱包含不兼容的风格信息。
3. 最后，采用 ASFF 模块来增强来自两个域的融合特征，其中来自一个域的信息量较少的通道通过结合来自另一个域的相应通道特征来补充。ASFF模块可实现相关信息的集成和冗余特征的抑制。

三、方法

MMIR-Mamba框架，如下所示：

优化目标：通过一个以欠采样的目标模态图像 $\tilde{I}_{tar}$ 和全采样的参考模态图像 $I_{ref}$ 作为输入的网络来重建高质量的目标模态图像 $I_{tar}$ 。

其中， $\mathcal{F}^{-1}$ 表示傅里叶反变换(IFT)，M表示二值化欠采样 Mask， $k_{tar}$ 表示目标模态的全采样 k 空间数据。

损失函数：通过最小化重建图像和 ground truth 图像之间的 L1 损失来训练模型：

其中，N 是训练样本的数量。

A. Target-guided Cross Mamba ( 掩码引导的 Cross Mamba )

目的：由于相关特征分布在不同的区域和模态中，捕获和融合这些相关特征对于重建高质量的目标模态图像至关重要。

问题：现有的基于CNN和Transformers的融合方法面临着挑战，因为它们在处理长距离依赖性或高计算要求方面的能力有限。

解决方法：为了解决这个问题，作者利用状态空间模型的目标和参考功能融合，受益于SSM的能力，有效地建模长期的依赖关系。受 Cross 模态Mamba的启发，设计了Target-guided Cross Mamba（TCM）模块，以利用来自参考特征的互补信息来丰富目标模态特征。

过程：

首先，使用归一化层和线性层（MLP）从目标模态特征 $F_{tar}$ 和参考模态特征 $F_{ref}$ 生成 $z_{tar}$ 和 $z_{ref}$ 。

然后， $z_{tar}$ 和 $z_{ref}$ 通过一维卷积与 SiLU激活函数和 没有门控的SSM （非双分支）被投影到隐藏状态空间中。

然后，为了最大限度地恢复目标模态信息，并有选择地融合参考信息，采用 $z_{tar}$ 作为门来调制隐藏状态特征 $H_{tar}$ 和 $H_{ref}$ ，实现隐藏状态特征融合。

其中，⊗ 是逐元素相乘。

原理：通过这种方式，在基于门控机制的隐藏状态空间中构建 TCM 模块。门控参数从目标模态生成，确保目标模态在融合过程中占主导地位，并选择性地结合来自参考模态的补充信息。

B. Selective Frequency Fusion ( 选择性的频率融合 )

目的：为了在更广泛的视野中进一步融合来自所提取的特征的互补信息，求助于频域（即，傅立叶域），其中每个频率分量对应于空间域中的所有像素，固有地捕获全局特性。为了全面整合互补信息并恢复幅度谱中的退化特征，作者提出了频域内的选择性频率融合（SFF）模块。

过程：

1）相位融合：

以特征 $F_{tar}$ 和 $F_{ref}$ 作为输入，首先，通过傅立叶变换将它们变换到频域，并获得它们的幅度谱和相位谱。

对于相位谱融合，在 $P_{ref}$ 和 $P_{tar}$ 上执行逐元素相加。（因为两者都包含关键且一致的结构信息）

（次级问题：关于振幅频谱，它封装样式信息，这些信息在不同的模态之间显著不同。此外，欠采样的低质量图像的幅度包含可能负面影响最终重建的干扰信息。）

(解决方法：为了缓解这一问题，设计了一个选择性幅度协调模块（SAHM），其中幅度频谱跨模态的动态调整是基于全局统计。)

2）选择性幅度协调模块（SAHM）：

首先，对 $A_{ref}$ 和 $A_{tar}$ 进行元素级加法以产生中间特征 A。其次，采用全局平均池生成 逐信道统计向量 $s \in \mathbb{R}^C$ ，以此嵌入全局信息。为了提高计算效率，利用全连接（FC）层来创建紧凑特征 $z \in \mathbb{R}^{L\times1}$ ，该特征进一步用于指导自适应选择。该操作可以表示如下：

其中 σ 是 ReLU激活函数，B 表示批量归一化， $W \in R^{L\times C}$ ，L 表示降维后的通道数。

(为了从两种模态中动态选择不同尺度的幅度谱)

对紧凑的特征描述符 $z \in \mathbb{R}^{L\times1}$ 计算跨通道的软注意力分数 (逐通道执行softmax)。

其中， $A, B \in R^{C\times L}$ 。a，b 表示 $A_{ref}$ 和 $A_{tar}$ 的软注意力向量。然后，通过 $A_{ref}$ 和 $A_{tar}$ 的加权和获得融合幅度谱 A：

为了进一步增强融合后的幅度谱和相位谱，采用了两组独立的运算ConvA（·）和CovnP（·）。每组由核大小为1 × 1的卷积层和ReLU激活函数组成。最终恢复的幅度谱A′和相位谱P′通过以下方式获得：

最后，通过逆傅立叶变换将恢复的振幅谱A′和相位谱P′转换到空间域：

C. Adaptive Spatial-Frequency Fusion（自适应的空间-频域融合）

目的：为了进一步增强融合的空域特征 $F_{spa}$ 和融合的频域特征 $F_{fre}$ ，并且为了促进这些特征的有效集成，引入了自适应空间频率融合（ASFF）模块。

原理：之前的研究表明BN值表示通道重要性，较低的规范表示与最终结果的相关性较低。因此，本文提出，可以通过合并来自另一个域的相应通道信息来加强在一个域中重要性降低的通道。

(ASFF模块基于每个信道的信息量(由Batch-Normalization (BN)层衡量)，通过信道自适应集成使两个域相互补充。)

过程：首先，通过BN层测量融合的空间域特征 $F_{spa}$ 和频率特征 $F_{fre}$ 的通道信息性。将特征的第c个通道表示为 $F_{spa,c}$ 和 $F_{fre,c}$ ，BN计算如下：

其中， $\omega_{spa,c}$ 和 $\omega_{fre,c}$ 是可训练的比例因子。 $\beta_{spa,c}$ 和 $\beta_{fre,c}$ 是可训练的偏移量，而β是一个小常数，以避免被零除。

（因子 $\omega_{spa,c}$ 和 $\omega_{fre,c}$ 评估训练期间归一化后输入和输出之间的相关性。如果 $\omega_{spa,c}$ 和 $\omega_{fre,c}$ 接近0，则表明 $F_{spa}$ 或 $F_{fre}$ 的相应梯度损失将接近0。这意味着 $F'_{spa,c}$ 或 $F'_{fre,c}$ 对最终结果的影响最小。）