论文解读 | Mamba系列 | I2I-Mamba: 通过选择性状态空间建模的多模态医学图像合成

已于 2024-07-26 21:08:21 修改
阅读量1.4k 收藏 21
点赞数 29
分类专栏： Mamba系列 论文阅读笔记 文章标签： 论文阅读 图像处理 计算机视觉 算法
于 2024-07-26 21:06:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61574757/article/details/140724506
版权

目录

概览

Abstract

Background

 Method

Experiment 

 可视化效果

Conclusion

Assignment

 历史文章

概览

论文标题：

I2I-Mamba: Multi-modal medical image synthesis via selective state space modeling

论文链接：

https://arxiv.org/pdf/2405.14022

代码链接：

https://github.com/icon-lab/I2I-Mamba

Abstract

本文提出了I2I-Mamba，一种基于选择性状态空间建模（SSM）的多模态医学图像合成方法。I2I-Mamba通过引入选择性状态空间模型，有效解决了传统方法在跨模态医学图像合成中存在的计算复杂度高、信息丢失等问题。该方法能够在保持高质量图像生成的同时，实现不同模态医学图像之间的灵活转换，为医学诊断、治疗计划制定等提供了有力支持。实验结果表明，I2I-Mamba在多个数据集上均取得了优异的表现，与现有方法相比，在图像质量、合成效率等方面均有所提升。

本文贡献：

1. 作者首次提出了I2I-Mamba方法，该方法基于选择性状态空间建模（SSM），为医学图像合成领域引入了一种全新的、高效的解决方案。

2. 设计了选择性状态空间模型，该模型能够精确捕捉医学图像中的关键信息，同时减少不必要的计算开销，实现了高效的状态空间表示。

3. I2I-Mamba不仅限于单一模态内的图像合成，还具备强大的跨模态转换能力，能够在不同医学成像模态（如CT与MRI）之间实现高质量的图像合成。

4. 通过优化模型结构和参数，I2I-Mamba在

最低0.47元/天 解锁文章
医图论文 Arxiv‘24 | MSVM-UNet: 多尺度视觉Mamba UNet用于医学图像分割
小白学视觉
03-16 96
状态空间模型（SSMs），尤其是蟒模型，在医学图像分割中显示出巨大潜力，因为它们能够在保持线性计算复杂度的同时建模长距离依赖关系。然而，准确的医学图像分割需要有效地学习多尺度详细特征表示和全局上下文依赖关系。尽管现有的工作已经尝试通过整合卷积神经网络（CNNs）和SSMs来利用它们各自的优势，但它们并没有设计专门的模块来有效地捕获多尺度特征表示，也没有充分解决将蟒模型应用于2D图像数据时的方向敏感性问题。为了克服这些限制，我们提出了一种用于医学图像分割的多尺度视觉蟒UNet模型，称为MSVM-UNet。
[Mamba]FusionMamba：基于状态空间模型的高效图像融合
weixin_49090702的博客
04-13 3007
定量和定性评估结果表明，FusionMamba方法达到了最先进的性能。：提出了一个包含空间U-Net和光谱U-Net的网络结构，分别从PAN/RGB图像中提取空间特征，从LRMS/LRHS图像中捕获光谱特征，这种结构允许独立和层次化的学习。：扩展了Mamba模块以支持双输入，创建了一个新的模块，称为FusionMamba模块，它比现有的融合技术（如连接和交叉注意力）更有效。：提出了一种新颖的图像融合方法，名为FusionMamba，它通过结合Mamba模块到两个U形网络中，实现了空间和光谱特征的有效提取。
FusionMamba: Efficient Image Fusion with State Space Model【文献阅读】
陈嘿萌的博客
05-02 2142
图像融合的目的是生成高分辨率的多光谱/高光谱图像（multi/hyper-spectral image），通过结合有限空间信息的高分辨率图像和具有大量空间信息的低分辨率图像。当前基于深度学习的图像融合方法主要是基于CNN和Transformer模型去提取图像的特征和融合不同类型的数据。CNN虽然和有效，但是限制于它的感受野，限制了他们去进行全局建模的能力。Transformer虽然能够专注于全局建模，但被它的二次计算复杂度所阻碍。
顶会蓝海：Mamba+CNN+Transformer！新作准确率近100％！
最新发布
2401_82426425的博客
02-12 944
一方面，其能充分利用Mamba的高效序列处理能力、CNN的局部感受野优势和Transformer的全局上下文捕捉能力，不仅能提升模型性能，还能降低计算复杂度！比如模型DualMamba，便在高光谱任务中，实现了准确率高达99.66％、参数量减少94.5％、FLOPs减少94.2％的炸裂效果！另一方面，相比其他结合，Mamba是新技术，还不算卷，目前还在上升期，创新机会很多！不管你是做在图像处理，还是自然语言处理，或者多模态融合等任务，都非常推荐你关注！
Mamba医学多模态火了，搞医学领域的神器！
ytt0523_com的博客
10-26 844
• 近年来，由变压器组件组成的深度学习模型推动了医学图像合成任务的性能包络线。与使用静态、局部滤波器的卷积神经网络（CNNs）相反，变压器使用自注意机制来允许自适应的、非局部滤波来敏感地捕获远程上下文。然而，这种敏感性是以牺牲大量的模型复杂性为代价的，这可能会损害学习效率，特别是在相对规模适中的成像数据集上。在这里，我们提出了一种新的多模态医学图像合成对抗模型I2I-Mamba，它利用选择性状态空间建模（SSM）在保持局部精度的同时有效地捕获远程上下文。
MambaDFuse:一种基于mamba的多模态图像融合双相位模型
qq_45880982的博客
04-20 4288
多模态图像融合（MMIF）旨在将来自不同模态的互补信息整合到单一的融合图像中，以全面地表征成像场景并促进下游视觉任务的完成。近年来，由于深度神经网络的进步，在MMIF任务上取得了显著的进展。然而，现有方法受到固有的局部还原性偏差（CNN）或二次计算复杂度（Transformers）的限制，无法有效且高效地提取模态特定和模态融合特征。为了克服这个问题，作者提出了一个基于Mamba的双阶段融合（MambaDFuse）模型。
Mamba在多模态数据融合中的应用
weixin_56038008的博客
08-03 632
综上所述，Mamba可以在多模态数据融合中发挥重要作用。它可以用于图像融合任务，也可以用于语义分割等其他视觉任务。通过设计特定的模型架构，如MambaDFuse和Sigma，可以有效地从不同模态中选择关键信息并进行融合，从而提高多模态数据处理的性能。
FusionMamba:动态特征增强与曼巴的多模态图像融合
qq_45880982的博客
04-29 4072
多模态图像融合旨在从不同的模态中整合信息，以创建具有全面信息和详细纹理的单张图像。然而，基于卷积神经网络融合模型在捕捉全局图像特征方面存在局限性，这是由于它们侧重于局部卷积操作。尽管基于Transformer的模型在全球特征建模方面表现出色，但它们却面临着由二次复杂度引起的计算挑战。近期，选择性的结构化状态空间模型显示出在具有线性复杂度的情况下建模长距离依赖关系的显著潜力，这为解决前述困境提供了一条有希望的道路。
MambaDFuse：基于Mamba的双阶段多模态图像融合模型
m0_59235945的博客
12-14 1438
多模态图像融合（MMIF）旨在整合来自不同模态的互补信息，生成高质量、内容丰富的融合图像，以便全面表示成像场景并促进下游视觉任务。在近几年，随着深度神经网络的进展，MMIF任务取得了显著进展。然而，现有方法由于受到卷积神经网络（CNN）固有的局部还原偏差或变换器（Transformers）二次计算复杂度的限制，无法有效且高效地提取模态特定和模态融合特征。为了解决这个问题，本文提出了一种基于Mamba的双阶段融合模型（MambaDFuse）。
创飞CNN和Transformer！Mamba+多模态图像融合，性能速度双巅峰！霸榜顶会！
2401_88190197的博客
11-18 744
Mamba的引入，给多模态图像融合带来了全新的视角，使图像融合的质量和效率都得到了显著提升！这是因为，以往主要是用CNN和Transformer做多模态图像融合。但CNN无法捕捉全局信息；Transformer囿于二次计算复杂度，计算开销大。而Mamba同时具有长距离依赖建模和计算效率高的优势，能够克服两者的局限。比如模型FusionMamba便通过结合Mamba，不仅性能提升25.5％，在视觉上也展现了更多细节！此外，Mamba作为新模型，当下还在蓝海阶段，创新空间很大。
论文解读 | Mamba系列 | UltraLight VM-UNet: 并行视觉Mamba显著减少皮肤病变分割参数
m0_61574757的博客
07-27 1623
本文提出了一种创新的超轻量级医学图像分割网络UltraLight VM-UNet，该网络通过将最新的状态空间模型（SSM）技术——Mamba，与经典的UNet架构相结合，实现了皮肤病变分割任务中参数数量和计算负载的显著减少。UltraLight VM-UNet的参数仅为0.049M，GFLOPs为0.060，相比传统模型在性能上保持竞争力甚至更优。
ML-Mamba : 利用Mamba-2的高效多模态大型语言模型
u014546828的博客
08-25 1351
多模态大型语言模型（MLLMs）因其多功能性而备受关注。然而，传统的Transformer架构由于其二次计算复杂度而产生了显著的开销。为了解决这个问题，本文引入了ML-Mamba，这是一个多模态语言模型，它利用最新且高效的Mamba-2模型进行推理。Mamba-2以其线性可扩展性和对长序列的快速处理能力而闻名。本文将基于Transformer的主干替换为预训练的Mamba-2模型，并探索将二维视觉选择性扫描机制集成到多模态学习中的方法，同时尝试各种视觉编码器和Mamba-2模型变体。
Mamba-UNet：用于医学图像分割的类似UNet的纯视觉Mamba网络
AI浩
02-14 6327
所提出的Mamba-UNet的架构如图2所示，其灵感来源于UNet [24] 和 Swin-UNet [3]。首先将大小为 H × W × 1 的2D灰度图像分割成类似于ViT和VMamba的块 [5,16]，然后转换为维度为 H/4 × W/4 × 16 的1D序列。一个初始的线性嵌入层将特征维度调整为任意大小C。这些块令牌随后通过多个VSS块和块合并层进行处理，以创建分层特征。块合并层负责下采样和维度增加，而VSS块则专注于学习特征表示。
MambaDFuse: A Mamba-based Dual-phase Model forMulti-modality Image Fusion——基于Mamba的双阶段多模态图像融合模型
Together_CZ的博客
12-21 1146
MambaDFuse: A Mamba-based Dual-phase Model for Multi-modality Image Fusion——基于Mamba的双阶段多模态图像融合模型
Mamba多模态到底有多强大？“低成本高性能”属性，轻松拿捏A会！
m0_73122726的博客
11-02 641
本文提出了一种新的全层多模态交互网络（AINet），通过渐进融合Mamba实现RGBT跟踪中的高效和有效的特征交互。该网络通过四向选择性扫描融合策略，同时学习单模态局部特征和跨模态全局特征，提高了小目标的可区分性和不同类别的区分能力。2.设计了基于Mamba的选择性扫描2D机制（SS2D）的CFM模块，实现了多尺度特征的四向扫描，有效解耦密集分布的小目标，并提取全局信息。框架下，可以设计特定的模型架构来增强跨模态信息之间的交互和融合，从而实现对多模态数据的全面分析和处理。
Mamba卷到多模态融合！最新SOTA推理提速49%，GPU内存使用减少83.7%
学姐带你玩AI的博客
08-06 2329
华科大最新提出Coupled Mamba，利用耦合的状态空间模型来增强不同模态之间的信息融合，实现了49%的推理提速，减少了83.7%的GPU内存占用。这类方法利用了Mamba独特的结构设计和算法优化，能更有效地提取和融合不同模态的特征信息，从而提高系统的整体性能和处理效率。也正因它的，这种结合策略成为了多模态数据处理的重要方法，在解决图像融合、语义分割、目标检测等任务方面给我们目前已有多个最新成果在各项关键指标上都达到SOTA。为帮助有论文需求的同学快速掌握其最新动态，我这次整理了，开源代码也分享了。
《Video Mamba Suite》论文笔记（2）Mamba对于多模态交互的作用
Zssss12的博客
05-06 956
对于 Charade-STA [28]，基于 Mamba 的方法也实现了相当的性能。鉴于 Mamba [30] 是一个基于线性扫描的模型，而转换器基于全局令牌交互，直观地说，我们认为标记序列中文本的位置。为了研究这一点，我们在表 7 中包含了不同的文本视觉融合方法，而图 3 说明了四种不同的标记排列。Qvhighlight[44]受到这种融合的影响较小，而 Charade-STA [28] 对文本位置表现出特别的敏感性，这可能是由于数据集的特征。最后，取出文本增强的视频特征̃Ve，然后送入预测头。
论文阅读《多模态结合Mamba模型》
weixin_58875151的博客
06-01 2033
针对目标检测多模态融合领域，提出了一项基于Mamba与YOLO结合的目标检测模型框架（基于Mamba的backbone和YOLOv8的neck以及head结合）。DSSF模块进一步减少模态差异，通过双方向门控注意力在隐藏状态空间中进行特征融合，以增强融合特征的表示一致性（简而言之就是深层特征融合）。第二点：文章的创新点主要为在借鉴YOLO的Backbone结构，设计了一种新的基于Mamba的多模态数据融合结构。从实验结果上来看，确实取得了不错的检测精度，但多模态检测模型的参数量可能也是一个因素。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值