当CNN遇上Mamba，高性能与高效率通通拿下！

最新推荐文章于 2025-04-28 11:55:29 发布
最新推荐文章于 2025-04-28 11:55:29 发布
阅读量2.7k 收藏 16
点赞数 20
分类专栏： 人工智能干货 深度学习干货 文章标签： 人工智能 深度学习 论文 CNN mamba
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42645636/article/details/140303978
版权

传统视觉模型在处理大规模或高分辨率图像时存在一定限制，为解决这个问题，研究者们就最近依旧火热的Mamba，提出了Mamba结合CNN的策略。

这种结合可以让Mamba在处理长序列数据时既能够捕捉到序列中的时间依赖关系，又能够利用CNN的局部特征提取能力来加速处理过程，实现计算效率与模型性能的双赢，因此被广泛应用于各大领域。

比如在医学图像分割领域的应用中，Weak-Mamba-UNet等网络架构通过结合两者优势，有效地解决了医学图像中复杂的结构和模式识别问题，准确率高达99.63%。

另外还有HC-Mamba、InsectMamba等，都是最新提出的效果nice的结合成果。为帮助大家快速了解并掌握前沿，我挑选并整理了2024新发表的9篇Mamba+CNN高质量工作，可参考的创新点都提炼好了，开源代码已附。

论文原文+开源代码需要的同学看文末

HC-MAMBA: VISION MAMBA WITH HYBRID CONVOLUTIONAL TECHNIQUES FOR MEDICAL IMAGE SEGMENTATION

方法：论文提出了新型医学图像分割模型HC-Mamba。HC-Mamba基于Mamba结合了多种为医学图像优化的卷积技术，包括扩张卷积和深度可分离卷积。这些技术的结合使得HC-Mamba能够在保持高性能的同时，以更低的计算成本处理大规模医学图像数据。

HC-Mamba模型在医学图像分割任务中表现出色，实验结果显示其具有高准确率(94.84%)、mIo

最低0.47元/天 解锁文章
YoloV8改进策略：BackBone改进|Mamba-UNet改进YoloV8，打造全新的Yolo-Mamba网络
m0_47867638的博客
02-14 4073
所提出的Mamba-UNet的架构如图2所示，其灵感来源于UNet [24] 和 Swin-UNet [3]。首先将大小为 H × W × 1 的2D灰度图像分割成类似于ViT和VMamba的块 [5,16]，然后转换为维度为 H/4 × W/4 × 16 的1D序列。一个初始的线性嵌入层将特征维度调整为任意大小C。这些块令牌随后通过多个VSS块和块合并层进行处理，以创建分层特征。块合并层负责下采样和维度增加，而VSS块则专注于学习特征表示。
CM-UNet: Hybrid CNN-Mamba UNet for Remote Sensing Image Semantic Segmentation
qq_44750091的博客
07-02 4005
在本文中，我们提出了 CM-UNet，包括用于提取局部图像特征的基于 CNN 的编码器和用于聚合和集成全局信息的基于 Mamba 的解码器，促进遥感图像的高效语义分割。具体来说，引入 CSMamba 块来构建核心分割解码器，该解码器采用通道和空间注意力作为 vanilla Mamba 的门激活条件，以增强特征交互和全局局部信息融合。，以及从左下角到右上角。我们的 CM-UNet 框架如图 2 (a) 所示，包含三个核心组件：基于 CNN 的编码器、MSAA 模块和基于 CSMamba 的解码器。
掌握顶会流量密码！“Mamba+CNN”双热点组合！轻松找到创新点！
m0_73122726的博客
09-20 1140
LKM-UNet特别针对2D和3D医疗图像分割任务设计，通过在大规模状态空间模型（SSM）中引入大型核，显著提高了模型的感受野，从而能够捕获更丰富的全局和局部特征信息。U-Mamba结合了卷积神经网络（CNN）和状态空间序列模型（SSM）的优势，构建了一个混合架构，能够高效地捕获图像的局部精细特征和长距离上下文信息。LKM-UNet采用大型核Mamba块（LM块），通过分配大型窗口（或核）给SSM层，实现了大的感受野，从而增强了模型的空间建模能力。本文提出了一种新的医疗图像分割模型——
2025最新方案！Mamba赋能UNet！轻松实现高效分割！
d22800的博客
02-26 1277
Mamba+UNet 是一种结合了状态空间模型（Mamba）和经典 UNet 架构的创新模型，旨在提升图像分割任务的性能。我还整理出了相关的论文+开源代码，以下是精选部分论文更多论文料可以关注领取更多[论文+开源码】引入视觉状态空间块，用于捕获广泛的上下文信息，通过2D选择性扫描模块（SS2D）处理输入数据。增强低级和高级特征的融合，通过注意力机制对特征图进行空间和通道注意力计算，调整特征图的尺寸以匹配目标参考。
Mamba又出新花样！与CNN结合，拿下高区！模型准确性近乎100％
2401_88190197的博客
11-17 679
实验结果表明，Weak-MMamba-UNet在多个医学图像分割任务中表现出色，显著提升了分割精度，展示了其在实际医学应用中的潜力和有效性。实验结果表明，U-Mamba在多个生物医学图像分割任务中表现出色，显著提高了分割的准确性和鲁棒性，展示了其在实际医学应用中的巨大潜力和优势。实验结果表明，nnMamba在多个3D生物医学图像任务中表现出色，显著提升了分割和分类的准确性，并且在标志点检测方面也取得了优异的效果，展示了其在实际医学应用中的巨大潜力和实用性。通过两者结合，能够实现更高效的特征提取。
Mamba+Transformer完美融合，效果炸裂！
m0_73122726的博客
08-02 1686
因模型规模的扩展和需要处理的序列不断变长，transformer逐渐出现计算量激增、计算效率下降等问题,研究者们提出了——，它结合了递归神经网络（RNN）和卷积神经网络（CNN）的特点，以提高处理长序列数据时的计算效率。为帮助同学们获取灵感，我整理了5种今年最新的Mamba结合创新方案，希望能给各位的学术研究提供一些帮助。
顶会idea：Mamba+CNN暴力涨点新突破！
最新发布
2401_88556812的博客
04-28 915
性能提升：在ISPRS Potsdam数据集上，CM-UNet的mF1为93.05%，OA为91.86%，mIoU为87.21%，相比UNetformer分别提升了0.25%、0.56%和0.41%。性能提升：在MRI心脏分割数据集上，Weak-Mamba-UNet的Dice系数为0.9171，准确率为0.9963，相比仅使用UNet或SwinUNet的框架，分别提升了约1.8%和1.3%。Mamba架构的应用：首次将Mamba架构应用于基于涂鸦的医学图像分割任务，验证了其在弱监督学习中的有效性。
顶会蓝海：Mamba+CNN+Transformer！新作准确率近100％！
2401_82426425的博客
02-12 1002
一方面，其能充分利用Mamba的高效序列处理能力、CNN的局部感受野优势和Transformer的全局上下文捕捉能力，不仅能提升模型性能，还能降低计算复杂度！比如模型DualMamba，便在高光谱任务中，实现了准确率高达99.66％、参数量减少94.5％、FLOPs减少94.2％的炸裂效果！另一方面，相比其他结合，Mamba是新技术，还不算卷，目前还在上升期，创新机会很多！不管你是做在图像处理，还是自然语言处理，或者多模态融合等任务，都非常推荐你关注！
《HC-Mamba: Vision MAMBA with Hybrid Convolutional Techniques for Medical Image Segmentation》
qq_46981910的博客
07-23 1149
自动医学图像分割技术有潜力加速病理诊断，提高病人护理的效率。然而，医学图像通常具有复杂的纹理和结构，模型在处理这些图像时常面临由于下采样导致的图像分辨率降低和信息丢失的问题。为了解决这一问题，作者提出了HC-Mamba，这是一种基于现代状态空间模型Mamba的新型医学图像分割模型。具体来说，HC-Mamba模型引入了扩张卷积技术，以不增加计算成本的方式捕获更广泛的上下文信息。此外，HC-Mamba模型采用深度可分离卷积，显著减少了模型的参数数量和计算能力。
刷新多个SOTA！最新Mamba魔改版本超越transformer，GPU内存消耗减少74%
学姐带你玩AI的博客
02-23 4624
因模型规模的扩展和需要处理的序列不断变长，transformer逐渐出现计算量激增、计算效率下降等问题。为克服这些缺陷，研究者们提出了Mamba。Mamba是一种创新的线性时间序列建模方法，它结合了递归神经网络（RNN）和卷积神经网络（CNN）的特点，以提高处理长序列数据时的计算效率。Mamba的设计和实现都展现出在处理长序列时的优势，在语言建模方面成功超越transformer。因此，面向Mamba及其魔改变体的研究也逐渐成为了热门，出现了很多可挖掘的创新点。为帮助同学们获取灵感，我整理了。
Weak-Mamba-UNet 论文学习笔记
2201_76036122的博客
10-14 1331
变量k表示类别的索引，而和分别表示第i个像素属于第k类的真实标签和预测概率。在论文中提到，涂鸦（scribble）注释Yscrib的取值范围是，这表明在这项研究中，图像分割任务涉及四个主要的类别和一个未标记的类别（None）。因此，k的取值范围是0到3，总共有4个类别。这就是为什么在公式中k的值是4的原因。每个类别对应一个索引，从0到3，用于遍历所有可能的类别，并计算每个类别的预测概率与真实标签之间的差异。
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
weixin_43780665的博客
03-06 3523
基础模型，现在为深度学习中大多数令人兴奋的应用程序提供动力，几乎普遍基于Transformer架构及其核心注意模块。许多次二次时间架构，如线性注意力、门控卷积和循环模型，以及结构化状态空间模型(SSMs)已经被开发出来，以解决Transformer在长序列上的计算效率低下问题，但它们在语言等重要模态上的表现不如注意力。我们发现这些模型的一个关键弱点是它们无法执行基于内容的推理，并进行了一些改进。
InsectMamba：基于状态空间模型的害虫分类
qq_45880982的博客
04-09 1093
害虫分类是农业技术中的关键任务，对于确保食品安全和环境可持续性至关重要。然而，由于害虫具有高度的伪装性和物种多样性等因素，害虫识别的复杂性构成了重大障碍。现有方法在提取区分密切相关的害虫种类的细微特征方面存在困难。尽管近期的研究通过修改网络结构和结合深度学习方法提高了准确性，但由于害虫与其周围环境的相似性，挑战依然存在。
ScribFormer: Transformer Makes CNN Work Better for Scribble-based Medical Image Segmentation
价值知识传播者
02-09 1101
具体而言，CNN分支与Transformer分支协同工作，将从CNN学到的局部特征与Transformer获得的全局表示融合，可以有效克服现有涂鸦监督分割方法的局限性。CNN预测y_CNN和Transformer预测y_Trans分别与涂鸦注释和动态混合的伪标签进行比较。图1. 不同方法在分割结果上的性能比较：(a) 输入图像、掩膜和涂鸦注释，(b) 基于CNN的完全监督方法（UNet++ [1]），© 基于CNN的涂鸦监督方法（UNet++），以及 (d) 我们提出的ScribFormer。
Mamba又杀入ECCV 2024！清华提出MambaIR：图像复原超强SOTA模型
阿木寺的博客
07-03 1306
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：极市平台 作者：一路向北来源丨https://zhuanlan.zhihu....
周报（20240218）
m0_54187478的博客
02-19 1361
Transformers擅长捕捉长程依赖关系，但由于自注意机制与输入大小的二次缩放，其高计算成本带来了挑战，尤其是对于高分辨率生物医学图像。状态空间模型（SSM），特别是结构化SSM（S4）的最新发展，以其在处理长序列方面的高效性能提供了一种有前途的解决方案。Mamba模型通过选择性机制和硬件优化增强了S4，在密集数据域中显示出卓越的性能。
Mamba视觉新主干！LocalMamba：全新视觉状态空间模型（商汤）
CV_Autobot的博客
04-02 1077
编辑| 极市平台点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心技术交流群本文只做学术分享，如有侵权，联系删文在本文中，作者介绍了LocalMamba，一种新的视觉状态空间模型，它显著增强了对图像局部依赖关系的捕捉能力，同时保持了全局上下文理解。作者的方法利用了窗口化选择性扫描和扫描方向搜索，取得了显著优于现有模型的效...
参数仅有0.049M！基于Mamba的医学图像分割新SOTA来了！
学姐带你玩AI的博客
04-09 4262
目前，基于CNN和Transformer的医学图像分割面临着许多挑战。比如CNN在长距离建模能力上存在不足，而Transformer则受到其二次计算复杂度的制约。相比之下，Mamba的设计允许模型在保持线性计算复杂度的同时，仍然能够捕捉到长距离的依赖关系。因此，更有效地处理医学图像中复杂的结构和模式。以上海交大提出的VM-UNet为例：作为首个将Mamba结构融入UNet的模型，VM-UNet引入了视觉态空间（VSS）块作为基础块以捕捉广泛的上下文信息，并构建了一个非对称的编码器-解码器结构。
顶会首选！Mamba+CNN强强联合，准确率狂飙！
m0_73122726的博客
04-27 681
通过融合CNN、Transformer和Mamba架构的优势，采用三阶段编码器-解码器结构，在多尺度特征学习中分别利用局部特征提取、全局上下文建模和动态特征优化的能力，从而在多种图像恢复任务中实现领先性能并保持高推理效率。通过融合CNN的局部特征提取能力和Mamba的全局上下文建模能力，同时保持计算和内存效率，从而在多个公共基准数据集上实现了更高的性能。此外，设计了特征引导区域感知损失函数(FRLoss)以提高分割精度，并在三个数据集上验证了该方法在保持计算效率的同时达到最先进的性能。
Mamba与Causal-Conv1D的whl安装包指南及性能优势
Mamba与Conda使用相同的包格式和生态系统，但其性能优化能够显著提升安装、升级和管理软件包的速度。例如，`mamba_ssm-1.0.1+cu118torch2.1cxx11abiFALSE-cp310-cp310-linux_x86_64.whl`文件就是Python 3.10的Mamba ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值