当CNN遇上Mamba，高性能与高效率通通拿下！

最新推荐文章于 2025-04-28 11:55:29 发布
最新推荐文章于 2025-04-28 11:55:29 发布
阅读量2.6k 收藏 16
点赞数 20
分类专栏： 人工智能干货 深度学习干货 文章标签： 人工智能 深度学习 论文 CNN mamba
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42645636/article/details/140303978
版权

传统视觉模型在处理大规模或高分辨率图像时存在一定限制，为解决这个问题，研究者们就最近依旧火热的Mamba，提出了Mamba结合CNN的策略。

这种结合可以让Mamba在处理长序列数据时既能够捕捉到序列中的时间依赖关系，又能够利用CNN的局部特征提取能力来加速处理过程，实现计算效率与模型性能的双赢，因此被广泛应用于各大领域。

比如在医学图像分割领域的应用中，Weak-Mamba-UNet等网络架构通过结合两者优势，有效地解决了医学图像中复杂的结构和模式识别问题，准确率高达99.63%。

另外还有HC-Mamba、InsectMamba等，都是最新提出的效果nice的结合成果。为帮助大家快速了解并掌握前沿，我挑选并整理了2024新发表的9篇Mamba+CNN高质量工作，可参考的创新点都提炼好了，开源代码已附。

论文原文+开源代码需要的同学看文末

HC-MAMBA: VISION MAMBA WITH HYBRID CONVOLUTIONAL TECHNIQUES FOR MEDICAL IMAGE SEGMENTATION

方法：论文提出了新型医学图像分割模型HC-Mamba。HC-Mamba基于Mamba结合了多种为医学图像优化的卷积技术，包括扩张卷积和深度可分离卷积。这些技术的结合使得HC-Mamba能够在保持高性能的同时，以更低的计算成本处理大规模医学图像数据。

HC-Mamba模型在医学图像分割任务中表现出色，实验结果显示其具有高准确率(94.84%)、mIo

最低0.47元/天 解锁文章
Mamba中的Mamba：在标记化Mamba模型中的集中式Mamba跨扫描高光谱图像分类
AI浩
07-20 1952
高光谱图像（HSI）分类在遥感（RS）领域至关重要，尤其是随着深度学习技术的不断进步。顺序模型，如循环神经网络（RNNs）和Transformer，已被定制用于此任务，并提供了独特的视角。然而，它们面临几个挑战：1）RNNs在聚合中心特征方面存在困难，并且对干扰像素敏感；2）Transformer需要广泛的计算资源，并且在HSI训练样本有限时往往表现不佳。为了解决这些问题，最近的进展引入了状态空间模型（SSM）和Mamba，它们在线性序列处理中以其轻量级和并行扫描能力而闻名，从而在RNNs和Transfor
Mamba又出新花样！与CNN结合，拿下高区！模型准确性近乎100％
2401_88190197的博客
11-17 637
实验结果表明，Weak-MMamba-UNet在多个医学图像分割任务中表现出色，显著提升了分割精度，展示了其在实际医学应用中的潜力和有效性。实验结果表明，U-Mamba在多个生物医学图像分割任务中表现出色，显著提高了分割的准确性和鲁棒性，展示了其在实际医学应用中的巨大潜力和优势。实验结果表明，nnMamba在多个3D生物医学图像任务中表现出色，显著提升了分割和分类的准确性，并且在标志点检测方面也取得了优异的效果，展示了其在实际医学应用中的巨大潜力和实用性。通过两者结合，能够实现更高效的特征提取。
CM-UNet: Hybrid CNN-Mamba UNet for Remote Sensing Image Semantic Segmentation
qq_44750091的博客
07-02 3804
在本文中，我们提出了 CM-UNet，包括用于提取局部图像特征的基于 CNN 的编码器和用于聚合和集成全局信息的基于 Mamba 的解码器，促进遥感图像的高效语义分割。具体来说，引入 CSMamba 块来构建核心分割解码器，该解码器采用通道和空间注意力作为 vanilla Mamba 的门激活条件，以增强特征交互和全局局部信息融合。，以及从左下角到右上角。我们的 CM-UNet 框架如图 2 (a) 所示，包含三个核心组件：基于 CNN 的编码器、MSAA 模块和基于 CSMamba 的解码器。
顶会蓝海：Mamba+CNN+Transformer！新作准确率近100％！
2401_82426425的博客
02-12 918
一方面，其能充分利用Mamba的高效序列处理能力、CNN的局部感受野优势和Transformer的全局上下文捕捉能力，不仅能提升模型性能，还能降低计算复杂度！比如模型DualMamba，便在高光谱任务中，实现了准确率高达99.66％、参数量减少94.5％、FLOPs减少94.2％的炸裂效果！另一方面，相比其他结合，Mamba是新技术，还不算卷，目前还在上升期，创新机会很多！不管你是做在图像处理，还是自然语言处理，或者多模态融合等任务，都非常推荐你关注！
掌握顶会流量密码！“Mamba+CNN”双热点组合！轻松找到创新点！
m0_73122726的博客
09-20 1072
LKM-UNet特别针对2D和3D医疗图像分割任务设计，通过在大规模状态空间模型（SSM）中引入大型核，显著提高了模型的感受野，从而能够捕获更丰富的全局和局部特征信息。U-Mamba结合了卷积神经网络（CNN）和状态空间序列模型（SSM）的优势，构建了一个混合架构，能够高效地捕获图像的局部精细特征和长距离上下文信息。LKM-UNet采用大型核Mamba块（LM块），通过分配大型窗口（或核）给SSM层，实现了大的感受野，从而增强了模型的空间建模能力。本文提出了一种新的医疗图像分割模型——
Mamba+Transformer完美融合，效果炸裂！
m0_73122726的博客
08-02 1619
因模型规模的扩展和需要处理的序列不断变长，transformer逐渐出现计算量激增、计算效率下降等问题,研究者们提出了——，它结合了递归神经网络（RNN）和卷积神经网络（CNN）的特点，以提高处理长序列数据时的计算效率。为帮助同学们获取灵感，我整理了5种今年最新的Mamba结合创新方案，希望能给各位的学术研究提供一些帮助。
顶会idea：Mamba+CNN暴力涨点新突破！
最新发布
2401_88556812的博客
04-28 878
性能提升：在ISPRS Potsdam数据集上，CM-UNet的mF1为93.05%，OA为91.86%，mIoU为87.21%，相比UNetformer分别提升了0.25%、0.56%和0.41%。性能提升：在MRI心脏分割数据集上，Weak-Mamba-UNet的Dice系数为0.9171，准确率为0.9963，相比仅使用UNet或SwinUNet的框架，分别提升了约1.8%和1.3%。Mamba架构的应用：首次将Mamba架构应用于基于涂鸦的医学图像分割任务，验证了其在弱监督学习中的有效性。
EGCM-UNet模型：融合边缘引导CNN与Mamba技术进行农田遥感影像语义分割
01-24
内容概要：本文针对农业遥感图像的高色相似性和形状不规则特点提出了一种名为EGCM-UNet（Edge Guided Hybrid CNN-Mamba UNet）的新颖语义分割网络。该方法通过引入面向残差卷积边缘分支(ORCEB)，能够有效地提取原始...
Mamba来搞图像增强了！高创新，发小论文不愁！
学姐带你玩AI的博客
08-23 1584
因为Mamba拥有非常独特的架构设计，能够同时捕获全局和局部的信息，轻松助力模型理解图像的整体结构和上下文，帮助我们确保图像细节的准确恢复和增强。这种优势让它在保持高效计算的同时，又能完美实现高精度的图像增强效果，因此在图像增强领域遥遥领先，有关这个方向的文章自然也就发的很多，创新空间非常可观。目前这方向的创新着眼于进一步挖掘和完善Mamba的优势，以应对更复杂、多样化的图像增强需求。根据这个，我这边整理了，基本都有代码，大家可以参考这些高质量论文的思路，尽快找到创新点。
狂发一区的YOLO，和Mamba是绝配！最新研究命中Nature，这泼天的高分思路你要不要！
学姐带你玩AI的博客
11-12 1704
朋友们，Mamba终于也对YOLO出手了！最近有关的新研究真是不少，比如Nature子刊上的YOLOv5_mamba、精度大幅领先YOLOv8的FER-YOLO等等，都是效果非凡，值得一品的好成果。这种结合不仅融合了Mamba在全局信息捕捉上的优势，还保留了YOLO在局部特征提取上的高效性，可以通过互补在多个维度为YOLO系列带来新的性能提升。可以说，，无论是对于目标检测领域的革新，还是单纯发表论文，都是非常好的选择。为了帮同学们抓紧机会，我已经挑选好了。
《HC-Mamba: Vision MAMBA with Hybrid Convolutional Techniques for Medical Image Segmentation》
qq_46981910的博客
07-23 1121
自动医学图像分割技术有潜力加速病理诊断，提高病人护理的效率。然而，医学图像通常具有复杂的纹理和结构，模型在处理这些图像时常面临由于下采样导致的图像分辨率降低和信息丢失的问题。为了解决这一问题，作者提出了HC-Mamba，这是一种基于现代状态空间模型Mamba的新型医学图像分割模型。具体来说，HC-Mamba模型引入了扩张卷积技术，以不增加计算成本的方式捕获更广泛的上下文信息。此外，HC-Mamba模型采用深度可分离卷积，显著减少了模型的参数数量和计算能力。
刷新多个SOTA！最新Mamba魔改版本超越transformer，GPU内存消耗减少74%
学姐带你玩AI的博客
02-23 4605
因模型规模的扩展和需要处理的序列不断变长，transformer逐渐出现计算量激增、计算效率下降等问题。为克服这些缺陷，研究者们提出了Mamba。Mamba是一种创新的线性时间序列建模方法，它结合了递归神经网络（RNN）和卷积神经网络（CNN）的特点，以提高处理长序列数据时的计算效率。Mamba的设计和实现都展现出在处理长序列时的优势，在语言建模方面成功超越transformer。因此，面向Mamba及其魔改变体的研究也逐渐成为了热门，出现了很多可挖掘的创新点。为帮助同学们获取灵感，我整理了。
Weak-Mamba-UNet 论文学习笔记
2201_76036122的博客
10-14 1296
变量k表示类别的索引，而和分别表示第i个像素属于第k类的真实标签和预测概率。在论文中提到，涂鸦（scribble）注释Yscrib的取值范围是，这表明在这项研究中，图像分割任务涉及四个主要的类别和一个未标记的类别（None）。因此，k的取值范围是0到3，总共有4个类别。这就是为什么在公式中k的值是4的原因。每个类别对应一个索引，从0到3，用于遍历所有可能的类别，并计算每个类别的预测概率与真实标签之间的差异。
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
weixin_43780665的博客
03-06 3475
基础模型，现在为深度学习中大多数令人兴奋的应用程序提供动力，几乎普遍基于Transformer架构及其核心注意模块。许多次二次时间架构，如线性注意力、门控卷积和循环模型，以及结构化状态空间模型(SSMs)已经被开发出来，以解决Transformer在长序列上的计算效率低下问题，但它们在语言等重要模态上的表现不如注意力。我们发现这些模型的一个关键弱点是它们无法执行基于内容的推理，并进行了一些改进。
YoloV8改进策略：BackBone改进|Mamba-UNet改进YoloV8，打造全新的Yolo-Mamba网络
m0_47867638的博客
02-14 4049
所提出的Mamba-UNet的架构如图2所示，其灵感来源于UNet [24] 和 Swin-UNet [3]。首先将大小为 H × W × 1 的2D灰度图像分割成类似于ViT和VMamba的块 [5,16]，然后转换为维度为 H/4 × W/4 × 16 的1D序列。一个初始的线性嵌入层将特征维度调整为任意大小C。这些块令牌随后通过多个VSS块和块合并层进行处理，以创建分层特征。块合并层负责下采样和维度增加，而VSS块则专注于学习特征表示。
ScribFormer: Transformer Makes CNN Work Better for Scribble-based Medical Image Segmentation
价值知识传播者
02-09 1080
具体而言，CNN分支与Transformer分支协同工作，将从CNN学到的局部特征与Transformer获得的全局表示融合，可以有效克服现有涂鸦监督分割方法的局限性。CNN预测y_CNN和Transformer预测y_Trans分别与涂鸦注释和动态混合的伪标签进行比较。图1. 不同方法在分割结果上的性能比较：(a) 输入图像、掩膜和涂鸦注释，(b) 基于CNN的完全监督方法（UNet++ [1]），© 基于CNN的涂鸦监督方法（UNet++），以及 (d) 我们提出的ScribFormer。
InsectMamba：基于状态空间模型的害虫分类
qq_45880982的博客
04-09 1083
害虫分类是农业技术中的关键任务，对于确保食品安全和环境可持续性至关重要。然而，由于害虫具有高度的伪装性和物种多样性等因素，害虫识别的复杂性构成了重大障碍。现有方法在提取区分密切相关的害虫种类的细微特征方面存在困难。尽管近期的研究通过修改网络结构和结合深度学习方法提高了准确性，但由于害虫与其周围环境的相似性，挑战依然存在。
Mamba又杀入ECCV 2024！清华提出MambaIR：图像复原超强SOTA模型
阿木寺的博客
07-03 1288
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：极市平台 作者：一路向北来源丨https://zhuanlan.zhihu....
Mamba与Causal-Conv1D的whl安装包指南及性能优势
Mamba与Conda使用相同的包格式和生态系统，但其性能优化能够显著提升安装、升级和管理软件包的速度。例如，`mamba_ssm-1.0.1+cu118torch2.1cxx11abiFALSE-cp310-cp310-linux_x86_64.whl`文件就是Python 3.10的Mamba ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值