论文阅读：Vision Mamba: A Comprehensive Survey and Taxonomy

已于 2024-10-19 11:46:37 修改
阅读量1.7k 收藏 27
点赞数 22
分类专栏： 论文精读 文章标签： 论文阅读 人工智能 深度学习 计算机视觉
于 2024-10-18 20:10:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49641282/article/details/143056152
版权

文章简介

  • 本文对VMamba进行了较为全面的综述，重点介绍了 Mamba 在各种可视化任务和数据类型中的应用，并探讨了它的发展变化

思维导图
在这里插入图片描述

Overview

由于自然语言与计算机视觉已逐渐形成融合趋势，将性能卓越的大型语言模型(LLM)Mamba 扩展到计算机视觉是一个极具吸引力的方向。Vim 是第一个处理密集预测任务的纯 SSM 模型，也是第一个将 SSM 应用于视觉领域通用背骨的模型。该框架解决了 Mamba 在处理图像序列时遇到的两个难题：建模的单一性和位置感知的缺乏。VMamba 提出了一种交叉扫描策略，以弥补一维阵列和二维序列扫描之间的差距。Mamba-ND 旨在将 Mamba 架构扩展到多维数据上的各种视觉任务，包括一维、二维和三维数据，以及更多其他视觉任务，如图像复原、红外小目标检测、点云等以及视频建模。这些成果发掘了曼巴的潜力，在视觉领域大有可为。

人们在 Mamba 架构的各个方面开展了大量工作, 以探索 SSM 在垂直域视觉任务中的应用。我们根据下游应用场景或任务对 Mamba 模型进行了分类，如下表所示。

主要包括一般视觉任务、多模态任务和垂直领域任务，其中垂直领域任务包括遥感图像分析和医学图像分析，一般视觉任务包括高级/中级视觉、低级视觉、三维视觉和多类型数据流。由于很难区分 Mamba 在高级视觉和中级视觉中的目标,我们将它们归为一类。低级视觉的典型任务包括图像处理、图像修复和图像生成。用于三维视觉的 Mamba 主要指用于三维视觉识别的点云分析。
请添加图片描述

SSM基本架构和原理

本章略，每篇讲Mamba的文章都会在相关基础知识的部分提一嘴Vanilla Mamba（原始Mamba模型）的结构，具体会在另一篇文章中进行详尽的解读和总结。

只需要知道：选择性机制使 Mamba 具备线性计算复杂度和长程依赖关系建模能力，硬件感知状态扩展则使其具有内存效率。凭借这两项关键技术,Mamba 在各种应用中展现出超越以往状态空间模型的巨大潜力。

一般视觉任务中的Mamba

本节回顾了 Mamba 及其变体在普通视觉中的应用, 包括高级/中级视觉、低级视觉和 3D 视觉。在接下来的小节中，我们将介绍针对每项任务重新设计的 Mamba 变体。考虑到选择性扫描策略在视觉任务中的重要性,我们在图 3 中进一步总结了现有的经典二维扫描机制。

请添加图片描述

用于高级/中级视觉的Mamba

使用Mamba的Vision Backbone

Mamba在语言建模场景中的成功促使研究人员利用先进的Mamba模型设计通用、高效的视觉主干。

Vim

Vim 提出了第一个纯基于 SSM 的模型来处理密集型预测任务。作者认为 SSM 在视觉应用中面临两大挑战：建模单向性和缺乏位置感知。为此，Vim 采用了双向 SSM 和位置嵌入技术。

如图 5 所示，为了处理视觉任务，它首先将多维图像 t ∈ R H × W × C t ∈ R^{H×W×C} t∈RH×W×C 转换为扩展的二维块 x p ∈ R J × ( P 2 ⋅ C ) x_p ∈ R^{J×(P^2·C)} xp​∈RJ×(P2⋅C) ，其中 ( H , W ) (H, W) (H,W) 是输入图像的大小，C 是通道数，P 是图像块的大小。与 Transformer 的位置嵌入方法类似，Vim 将 x p x_p

最低0.47元/天 解锁文章
Vision Mamba：高效视觉表示学习双向状态空间模型，超越Vision Transformer！
math_bearrr的博客
05-10 4570
1. Mamba模型的基本原理Mamba模型是基于状态空间模型（SSM）的一种深度学习模型，它通过时间变化的参数和硬件感知的算法来实现高效的训练和推理。Mamba的优越性能表明它是语言建模中Transformer的一个有前途的替代品。Mamba模型的设计灵感来源于经典的卡尔曼滤波器模型，特别擅长捕捉长范围依赖关系，并且能够从并行训练中受益。2. Vim模型的创新之处Vim模型是在Mamba的基础上为视觉数据设计的一种新型视觉主干网络。
论文阅读：Vision Mamba- Efficient Visual Representation Learning with Bidirectional State Space Model
weixin_49641282的博客
10-19 3492
提出了一种带有双向Mamba块（Vim）的新通用视觉baseline
MambaVision：一种Mamba-Transformer混合视觉骨干网络
AI浩
03-17 919
我们提出了一种新型混合Mamba-Transformer主干网络，称为MambaVision，该网络专为视觉应用而设计。我们的核心贡献包括重新设计Mamba公式，以增强其对视觉特征的高效建模能力。此外，我们还对将视觉Transformer（ViT）与Mamba集成的可行性进行了全面的消融研究。我们的结果表明，在最终层添加几个自注意力模块可以显著提高捕捉长距离空间依赖关系的建模能力。基于我们的发现，我们引入了一系列具有分层架构的MambaVision模型，以满足各种设计标准。
Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model 论文总结
qq_45981086的博客
09-14 1567
Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model 论文总结
Vision Mamba论文阅读（主干网络）
qq_44799766的博客
05-18 5865
简单看看，文章介绍了Vim模型，这是一种新的通用视觉基础模型，它利用双向Mamba块(bidirectional Mamba blocks (Vim))和位置嵌入 (position embeddings)来处理图像序列，并在ImageNet分类、COCO对象检测和ADE20K语义分割任务上取得了比现有的视觉Transformer模型（如DeiT）更好的性能。指出了Mamba时间复杂度与序列长度是线性的。而Transformer的时间复杂度是与序列长度乘二次方关系。
【论文阅读】Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model
Prettybritany的博客
06-10 750
状态空间模型（SSMs）在长序列建模方面展现出了巨大潜力，如Mamba。然而，将SSMs应用于视觉数据表示存在挑战，因为视觉数据对位置敏感，且需要全局上下文以理解视觉信息。
Vision Mamba 论文学习精读笔记 Efficient Visual Representation Learning with Bidirectional State Space Model
985小菜鸡
04-11 8993
总结了论文中提出的Vision Mamba（Vim）模型的动机、设计以及其在视觉任务上的表现。首先，指出了状态空间模型（SSM）在长序列建模方面的潜力，尤其是Mamba模型在硬件效率方面的优势。纯粹基于 SSM 构建高效且通用的视觉 backbone 是一个有吸引力的方向。然后提到，尽管在视觉数据表示上存在挑战，例如视觉数据的位置敏感性和视觉理解对全局上下文的需求，但作者成功地展示了不必完全依赖自注意力机制来学习视觉表示。文章介绍了Vim模型，这是一种新的通用视觉基础模型，它利用双向Mamba块(
【论文阅读|具身智能】Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI
chien__的博客
11-25 2635
具身智能（Embodied AI）对于实现人工通用智能（Artificial General Intelligence，AGI）至关重要，也是连接网络空间和物理世界的各种应用程序的基础。近年来，多模态大模型（MLMs）和世界模型（WMs）的出现因其显著的感知、交互和推理能力而引起了广泛的关注，使其成为具身智能体的大脑中一个很有前途的架构。然而，在mlm的时代，目前还没有对具身智能的全面调查。在本次调查中，我们对具身智能的最新进展进行了全面的探索。
VM-UNet: Vision Mamba UNet for Medical Image Segmentation
通街是密人有的博客
02-23 4037
在医学图像分割领域，基于CNN和基于Transformer的模型都得到了广泛的探索。然而，CNN在远程建模能力方面表现出局限性，而Transformer则受到二次计算复杂性的阻碍。最近，以Mamba为例的状态空间模型(SSM)作为一种很有前途的方法出现了。它们不仅在远程相互作用建模方面表现优异，而且保持了线性计算复杂度。本文利用状态空间模型，提出了一种用于医学图像分割的U-shaped架构模型，命名为视觉Mamba UNet (VM-UNet)。
论文笔记：Vision Mamba——主干网络设计与优化
小蜗牛的珍贵百宝箱
12-23 1038
Vision Mamba通过结合卷积神经网络（CNN）和Transformer的优点，设计了高效且轻量的主干网络，在多个视觉任务中表现出了优秀的性能。通过引入深度可分离卷积、跨尺度自注意力机制以及残差连接，Vision Mamba不仅提高了计算效率，还增强了模型的表达能力。该网络设计具有较强的应用潜力，尤其是在低资源设备上的推理任务中。在实际应用中，Vision Mamba能够显著提高训练和推理效率，尤其适用于需要快速处理大量图像的场景，如自动驾驶、视频分析等。
《Vision mamba》论文笔记
Zssss12的博客
03-28 3505
最近，具有高效硬件感知设计的状态空间模型 (SSM)，即 Mamba 深度学习模型，在长序列建模方面显示出巨大潜力。同时，纯粹基于SSM构建高效通用的视觉骨干是一个吸引人的方向。然而，由于视觉数据的位置敏感性和全局上下文对视觉理解的要求，表示视觉数据对SSMs具有挑战性。在本文中，我们表明，不需要依赖自注意力进行视觉表示学习并提出了一种新的具有双向 Mamba 块 (Vim) 的通用视觉主干，它使用位置嵌入标记图像序列并使用双向状态空间模型压缩视觉表示。
MambaVision
qq_45800507的博客
10-13 997
NVIDIA摘要我们提出了一种新型的混合Mamba-Transformer主干网络，命名为MambaVision，它专门为视觉应用而设计。我们的核心贡献包括重新设计Mamba公式，以提高其有效建模视觉特征的能力。此外，我们对集成视觉变换器（ViT）与Mamba的可行性进行了全面的消融研究。我们的结果表明，在Mamba架构的最后一层加入多个自注意力模块大大提高了捕获长程空间依赖性的建模能力。基于我们的发现，我们引入了一系列具有分层架构的MambaVision模型，以满足各种设计标准。
mamba和vision mamba
qq_44445252的博客
05-14 1281
mamba 、 vision mamba
Vision Mamba：使用双向状态空间模型进行高效视觉表示学习
小刘的博客
02-25 3412
该方法利用位置嵌入对图像序列进行标记，并利用双向状态空间模型对视觉表示进行压缩。ViT可以通过自注意为每个图像块提供数据/块相关的全局上下文通过将图像视为没有2D归纳偏差的补丁序列来进行模态不可知建模，这使其成为多模态应用的优选架构VIT的缺点：处理长距离视觉依赖时的速度和内存使用较差Mamba用于视觉任务的挑战：单向建模和缺乏位置意识本文提出Vision Mamba（Vim），它采用了双向SSM数据相关的全局视觉上下文建模和用于位置感知视觉理解的位置嵌入。
Vision Mamba:将Mamba应用于计算机视觉任务的新模型
deephub
01-23 7560
论文介绍了一种将Mamba用于视觉任务的方法，该方法利用双向状态空间模型(ssm)进行全局视觉上下文建模和位置嵌入。这种方法标志着传统的注意力机制可能会退出历史的舞台，因为VIM展示了一种有效的方法来掌握视觉数据的位置上下文，而不需要基于transformer的注意机制。VIM以其次二次的时间计算和线性内存复杂性与Transformer模型中典型的二次增长形成鲜明对比。这一点使得VIM特别适合处理高分辨率图像。
（1）Papar Reading——Vision Mamba: Efficient Visual Representation Learning with Bidirectional SSM
智能养猪的博客
01-25 2228
最近，具有高效硬件感知设计的状态空间模型（SSMs），即Mamba，在长序列建模方面显示出巨大潜力。纯粹基于SSMs构建高效通用的视觉backbone是一个有吸引力的方向。然而，由于视觉数据的位置敏感性和视觉理解对全局上下文的要求，对于ssm来说，视觉表示数据是一个挑战。在本文中，我们证明了视觉表示学习对自注意力的依赖并非必要，并提出了一种新的具有双向Mamba块（Vim）的通用视觉骨干，它使用位置嵌入标记图像序列，并利用双向状态空间模型压缩视觉表示。
视觉Mamba：基于双向状态空间模型的高效视觉表征学习
AI浩
01-29 1816
最近，具有高效硬件感知设计的状态空间模型（SSMs），例如Mamba，在长序列建模方面展现出了巨大潜力。纯粹基于SSMs构建高效和通用的视觉骨干网络是一个吸引人的方向。然而，由于视觉数据的空间敏感性和视觉理解的全局上下文需求，用SSMs表示视觉数据是一项挑战。本文表明，视觉表示学习对自注意力的依赖不是必需的，并提出了一个新的通用视觉骨干网络，该网络使用双向Mamba块（Vim），通过位置嵌入标记图像序列，并使用双向状态空间模型压缩视觉表示。
VM-UNet:视觉Mamba UNet用来医学图像分割 论文及代码解读
热门推荐
Philo的博客
02-26 2万+
付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！ 介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用
VIM: Vision Mamba基于双向状态空间模型的高效视觉表示学习
Together_CZ的博客
12-26 1561
Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model VIM: Vision Mamba基于双向状态空间模型的高效视觉表示学习
Sigma: Siamese Mamba Network
最新发布
03-26
<think>好的，我现在需要处理用户关于Siamese Mamba Network的问题。用户可能已经了解了一些关于Siamese Networks的基础知识，比如引用中提到的传统Siamese CNN、LSTM Siamese网络以及它们在签名验证、人脸识别中的应用。现在用户想知道如何实现Siamese Mamba Network的架构，或者它的概述。 首先，我需要确认什么是Mamba Network。根据我的知识，Mamba是一种基于状态空间模型（SSM）的新型架构，可能用于处理长序列数据，类似于Transformer但更高效。接下来，Siamese Mamba Network应该是将Mamba作为特征提取器，结合Siamese网络的结构，用于比较两个输入的相似性。 用户提供的引用中提到了不同的Siamese架构，比如CNN、LSTM，还有Gated Siamese CNN用于行人重识别。这可能意味着Siamese Mamba Network可能在处理序列数据（如文本、时间序列）方面有优势，或者需要结合Mamba的长序列处理能力。 接下来，我需要构建Siamese Mamba Network的实现概述。可能需要以下步骤：输入处理、Mamba编码器、特征融合、相似度计算。同时要考虑如何共享权重，因为Siamese网络的两个分支通常共享参数。 可能的问题包括如何设计Mamba层，如何处理输入的对，以及损失函数的选择，比如对比损失或三元组损失。此外，还需要参考现有的Mamba实现，比如在GitHub上的项目，或者相关论文，但目前关于Siamese Mamba的具体资料可能较少，需要结合传统Siamese网络和Mamba的特点进行推断。 另外，用户可能关心应用场景，比如是否适用于需要长序列对比的任务，如文档相似性、生物序列分析等。在实现时，可能需要使用PyTorch或JAX框架，因为Mamba的实现通常在这些框架中有支持。 最后，需要验证这些信息是否正确，是否有相关研究支持。由于Mamba较新，可能没有太多现成的Siamese Mamba案例，因此需要基于现有知识合理推测架构，并建议用户查阅最新文献或代码库以获取详细信息。</think>### Siamese Mamba Network架构概述 Siamese Mamba Network是一种结合**状态空间模型（Mamba）**与**孪生神经网络（Siamese Network）**的新型架构，旨在处理长序列数据的相似性比对任务。其核心是通过共享权重的Mamba模块提取输入特征，再通过相似性度量函数（如余弦相似度）比较特征向量[^3][^4]。 #### 架构实现关键步骤 1. **输入处理** 输入为两个序列（如文本、时间序列或生物序列），需对齐长度或通过填充/截断处理。 2. **Mamba编码器** 使用共享权重的Mamba层作为特征提取器，例如： $$ \text{Feature}_A = \text{Mamba}(X_A), \quad \text{Feature}_B = \text{Mamba}(X_B) $$ 其中$X_A$和$X_B$为输入对，Mamba层利用选择性状态空间机制捕捉长程依赖[^5]。 3. **特征融合与相似度计算** 对特征向量进行池化（如均值池化）后计算相似度： $$ \text{Similarity} = \frac{\text{Feature}_A \cdot \text{Feature}_B}{\|\text{Feature}_A\| \cdot \|\text{Feature}_B\|} $$ 使用对比损失（Contrastive Loss）或三元组损失（Triplet Loss）优化模型。 #### 代码框架示例（PyTorch伪代码） ```python import torch from mamba_ssm import Mamba class SiameseMamba(torch.nn.Module): def __init__(self, input_dim, hidden_dim): super().__init__() self.mamba = Mamba(d_model=input_dim, d_state=hidden_dim) # 共享权重的Mamba层 def forward(self, x1, x2): feat1 = self.mamba(x1) # 输入维度: (batch, seq_len, input_dim) feat2 = self.mamba(x2) feat1 = torch.mean(feat1, dim=1) # 序列池化 feat2 = torch.mean(feat2, dim=1) similarity = torch.cosine_similarity(feat1, feat2, dim=-1) return similarity ``` #### 应用场景 1. **长文本相似度比对**（如论文查重） 2. **基因序列匹配**（处理超长DNA/RNA序列） 3. **传感器时序信号分析**（故障检测中的异常模式对比）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值