Mamba刚火就凉了？视觉真的需要Mamba吗？

已于 2024-06-03 09:47:03 修改
阅读量501 收藏
点赞数
分类专栏： 3D视觉从入门到精通 文章标签： 3d SLAM 机器人 自动驾驶 人工智能
于 2024-05-18 00:01:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yong_Qi2015/article/details/139015625
版权
本文探讨了Mamba架构在视觉识别任务中的适用性，尤其是图像分类、目标检测与分割。研究表明，虽然Mamba针对长序列和自回归任务有优势，但其在图像分类任务中并不必要，且在某些视觉任务中可能不如现有模型效果好。作者提出了MambaOut模型，证明在没有SSM的情况下，性能仍可超越视觉Mamba模型。
摘要由CSDN通过智能技术生成

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群

扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

95901e329b801eda5b0410f3cf238de3.jpeg

0. 这篇文章干了啥？

近年来，Transformer已成为各种任务的主流骨干，支撑着诸多重要模

了解本专栏 订阅专栏 解锁全文 超级会员免费看
3Ｄ视觉工坊
关注
专栏目录
订阅专栏
Mamba为什么能颠覆Transformer在计算机视觉的统治地位？
3D视觉工坊
04-28 164
点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达来源：3D视觉工坊添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫...
Mamba再下一城！VideoMamba：高效视频理解的状态空间模型
阿木寺的博客
03-28 1223
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba和视频理解】微信交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：新智元 | 编辑：Rome Rome视频理解因大量时空冗余和复杂时空依赖，同时克...
vision mamba-yolov8:结合Vmamba的yolov8目标检测改进实现
weixin_51988935的博客
07-01 1355
下载causal-conv1d-main，至ultralytics的同级目录下，进入causal-conv1d-main文件夹，进行安装。在ultralytics/nn目录下新建Addmoudules目录，并在该目录中新建VMamba.py，以及__init__.py文件。链接：https://pan.baidu.com/s/1W4mTvjzMJhf-uT_vryT5Kg。在ultralytics/cfg/models/v8，新建VMamba-yolov8.yaml文件。
【论文阅读笔记】Mamba模型代码理解
热门推荐
寸先生的AI道路
04-07 1万+
Mamba模型代码实现及理解
（2024，MambaOut，Mamba 适合长序列，区分指标，不适合分类，适合检测和分割）视觉真的需要 Mamba 吗？
qq_44681809的博客
05-14 2446
Mamba 非常适合具有长序列和自回归特征的任务。本文提出了一个指标来判别序列是否是长序列本文。它通过堆叠 Mamba 块并移除 SSM，构建了 MambaOut 模型，来验证 Mamba 在分类、检测和分割等视觉任务​中的适用性。
Mamba详细解析
晨的博客
03-14 3486
Mamba - 新颖的选择性状态空间模型（无需注意模块和MLP模块）- 通用的序列模型主干。允许状态空间的参数根据输入动态变换，模型根据当前的token选择性传播或遗忘信息。
MambaOut：视觉任务真的需要Mamba吗？
阿木寺的博客
05-24 601
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/扩散/多模态】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：极市平台 | 作者：科技猛兽导读在 ImageNet 图像分类中有效地超过了...
视觉Mamba的多向扫描策略真的有效吗？
阿木寺的博客
05-16 571
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/扩散/多模态】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！0导读本论文的第一作者朱钦峰是西浦和利物浦大学联合培养的一年级在读博士，其导师为范磊副...
MambaOut: Do We Really Need Mamba for Vision?Mamba真的没有用吗？
qq_40734883的博客
05-22 1173
Mambaout中发现Mamba对于ImageNet的图像分类任务并非必需，而在其他下游任务（目标检测和语义分割等）上对模型性能是有提升的。
Mamba-UNet：用于医学图像分割的类似UNet的纯视觉Mamba网络
AI浩
02-14 4449
所提出的Mamba-UNet的架构如图2所示，其灵感来源于UNet [24] 和 Swin-UNet [3]。首先将大小为 H × W × 1 的2D灰度图像分割成类似于ViT和VMamba的块 [5,16]，然后转换为维度为 H/4 × W/4 × 16 的1D序列。一个初始的线性嵌入层将特征维度调整为任意大小C。这些块令牌随后通过多个VSS块和块合并层进行处理，以创建分层特征。块合并层负责下采样和维度增加，而VSS块则专注于学习特征表示。
EfficientVMamba：轻量级视觉Mamba的空洞选择性扫描
AI浩
03-28 1394
https://arxiv.org/pdf/2403.09977.pdf 摘要。先前的轻量级模型开发努力主要集中在基于CNN和Transformer的设计上，但仍面临持续的挑战。CNN擅长局部特征提取，但会牺牲分辨率，而Transformer提供了全局范围，但会加剧计算需求O(N2)\mathcal{O}(N^{2})O(N2)。这种持续存在的准确性和效率之间的权衡仍然是一个重大障碍。最近，状态空间模型（SSM），如Mamba，已在语言建模和计算机视觉等各种任务中显示出出色的性能和竞争力，同时将全局信息提取
Mamba中的Mamba：在标记化Mamba模型中的集中式Mamba跨扫描高光谱图像分类
AI浩
07-20 1391
高光谱图像（HSI）分类在遥感（RS）领域至关重要，尤其是随着深度学习技术的不断进步。顺序模型，如循环神经网络（RNNs）和Transformer，已被定制用于此任务，并提供了独特的视角。然而，它们面临几个挑战：1）RNNs在聚合中心特征方面存在困难，并且对干扰像素敏感；2）Transformer需要广泛的计算资源，并且在HSI训练样本有限时往往表现不佳。为了解决这些问题，最近的进展引入了状态空间模型（SSM）和Mamba，它们在线性序列处理中以其轻量级和并行扫描能力而闻名，从而在RNNs和Transfor
视觉Mamba:基于双向状态空间模型的高效视觉表征学习
m0_47867638的博客
01-29 1850
最近，具有高效硬件感知设计的状态空间模型（SSMs），例如Mamba，在长序列建模方面展现出了巨大潜力。纯粹基于SSMs构建高效和通用的视觉骨干网络是一个吸引人的方向。然而，由于视觉数据的空间敏感性和视觉理解的全局上下文需求，用SSMs表示视觉数据是一项挑战。本文表明，视觉表示学习对自注意力的依赖不是必需的，并提出了一个新的通用视觉骨干网络，该网络使用双向Mamba块（Vim），通过位置嵌入标记图像序列，并使用双向状态空间模型压缩视觉表示。
YOLOv10改进 | Conv篇 | YOLOv10添加Mamba模块 （Mamba-Yolov10为目标检测、医学图像分割等任务带来新的发展和进步）
qq_45972324的博客
05-02 4021
在医学图像分割领域，基于 CNN 和基于 Transformer 的模型都得到了广泛的探索。然而，CNN 在远程建模能力方面表现出局限性，而 Transformer 则受到其二次计算复杂性的阻碍。最近，以 Manba 为代表的状态空间模型 （SSM） 已成为一种很有前途的方法。它们不仅擅长对长距离交互进行建模，而且还保持线性计算复杂性。在本文中，利用状态空间模型，我们提出了一种用于医学图像分割的 U 形架构模型，名为 Vision Mamba UNet （VM-UNet）。
元宇宙3D展厅如何打破时空限制，实现全球展览无缝连接
starsongda的博客
09-24 458
元宇宙3D展厅利用先进的虚拟现实技术，构建出逼真的3D环境，使参观者仿佛置身于真实的展览空间之中。无论是细腻的场景建模、逼真的光影效果，还是流畅的交互体验，都让参观者能够享受到前所未有的沉浸式参观感受。这种体验超越了传统线下展厅的物理界限，让参观者无论身处何地都能感受到展览的震撼与魅力。
【论文阅读】RISE: 3D Perception Makes Real-World Robot Imitation Simple and Effective
qq_33673253的博客
09-24 1001
这种算子节省了计算量，并继承了传统卷积的核心优势。稀疏3D编码器采用浅ResNet架构[17]。它由一个初始卷积层、四个残差块和一个最终卷积层组成，每两个分量之间有五个2×稀疏池化层。层数可以自由增加，而评估结果表明，浅编码器足以满足我们的实验需求。通过，体素化点云被高效地编码为稀疏点特征，避免了在巨大的空白空间上进行冗余计算。然后将作为稀疏tokens馈送到transformer-ht中。对于在1×1×1空间中裁剪的仅包含60∼80 tokens。
3D Gaussian Splatting 学习笔记
最新发布
jacke121的专栏
09-27 420
3D Gaussian Splatting 学习笔记
mamba xgboost
06-25
Mamba XGBoost 是一个基于 XGBoost（Extreme Gradient Boosting，极端梯度提升）的优化包，它是由社区维护的一个高性能库。XGBoost 是一款流行的梯度增强机器学习库，尤其适合处理大规模数据和高维特征。Mamba（原名 MXNet）是一个快速、灵活且可扩展的深度学习框架，它与 XGBoost 结合，旨在提供更好的兼容性、更快的训练速度和更便捷的集成使用。 Mamba XGBoost 通常用于以下几个方面： 1. **性能提升**：Mamba 可能提供了更高效的内存管理和计算资源调度，使得在大型数据集上运行 XGBoost 更快。 2. **模块化**：借助 Mamba 的高级API，开发者可以更容易地将 XGBoost 集成到他们的深度学习项目中，实现特征工程和模型堆叠等任务。 3. **易用性**：结合了Mamba的用户界面，使得使用XGBoost变得更为直观和简单。 如果你对Mamba XGBoost有兴趣，可能会关注以下问题：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

3Ｄ视觉工坊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值