【2025年即插即用】清华大学：用线性注意力实现Mamba并超越Mamba！

已于 2025-03-12 13:52:25 修改
阅读量2.2k 收藏 19
点赞数 41
分类专栏： 2025年AI即插即用模块 文章标签： pytorch 深度学习 人工智能 自然语言处理 计算机视觉 目标检测 图像处理
于 2025-03-12 13:32:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43303160/article/details/146202858
版权

图片

 一、论文信息 

论文题目：Demystify Mamba in Vision: A Linear Attention Perspective

中文题目：在视觉中揭开Mamba的神秘面纱：一种线性注意力视角

论文链接：https://arxiv.org/pdf/2405.16605

官方github：https://github.com/LeapLabTHU/MLLA

所属机构：清华大学，阿里巴巴集团

核心速览：本文揭示了Mamba模型与线性注意力Transformer之间的密切关系，并通过理论和实证分析，探讨了Mamba成功的关键因素。研究发现，Mamba模型在视觉任务中表现出色，主要归功于其遗忘门和块设计。基于这些发现，提出了Mamba Inspired Linear Attention（MILA,代码中命名为MLLA）模型，该模型在图像分类和高分辨率密集预测任务中均超越了现有的视觉Mamba模型。

图片

 二、论文概要 

图片

图4：（a）输入门值分布的可视化。（b）不同层中遗忘门值的平均值。（c）不同遗忘门值的衰减效应。

1. 研究背景:

  • 研究问题：Mamba模型为何能在处理高分辨率输入的视觉任务中表现出色？它与性能较差的线性注意力Transformer有何相似之处和不同之处？

  • 研究难点：理解Mamba模型的成功因素，特别是其与线性注意力Transformer之间的关系，以及如何将这些因素应用到线性注意力Transformer中以提升其性能。

  • 文献综述：文章回顾了Transformer和注意力机制在视觉任务中的应用，指出了Softmax注意力的二次复杂度在处理高分辨率图像时的局限性。同时，介绍了线性注意力作为一种具有线性复杂度的替代方案，以及Mamba模型在有效序列建模方面的潜力。此外，还探讨了其他研究者如何尝试将Mamba应用于视觉任务，并分析了Mamba模型在视觉任务中的应用前景。

2. 本文贡献:

  • Mamba模型与线性注意力Transformer的关系：研究揭示了Mamba模型与线性注意力Transformer之间的密切关系，将Mamba重新表述为线性注意力Transformer的一个变体，并指出了六个主要区别：输入门、遗忘门、快捷连接、无注意力归一化、单头和修改后的块设计。

  • 核心操作的解释：通过将选择性状态空间模型（SSM）与线性注意力公式统一表述，发现SSM类似于单头线性注意力，但增加了输入门、遗忘门和快捷连接，同时省略了归一化和多头设计。

  • 宏观架构设计分析：现代线性注意力Transformer模型通常采用线性注意力子块和MLP子块的块设计。Mamba通过结合H3和门控注意力等基本设计，修改了块设计，形成了更有效的架构。

  • MILA模型的创新：基于Mamba模型的核心设计，提出了MILA模型，该模型在多个视觉任务中均表现出色，证明了线性注意力Transformer通过集成Mamba模型的关键设计可以超越Mamba模型本身。

 三、创新方法 

图片

图1：在Mamba中选择性SSM和单头线性注意力的示意图。
可以看出，选择性SSM类似于带有额外输入门∆i、遗忘门Aei和快捷连接D ⊙ xi的单头线性注意力，同时省略了归一化QiZi。

图片

图3：线性注意力Transformer、Mamba和我们的MILA的宏观设计示意图。

1. 现代线性注意力Transformer模型：通常采用图3(a)中描述的块设计，该设计由一个线性注意力子块和一个MLP子块组成。

2. Mamba：相比之下，Mamba通过结合两种基本设计，即H3和门控注意力，修改了块设计，从而形成了图3(b)中所示的架构。Mamba块集成了多种操作，如选择性SSM、逐深度卷积、线性映射、激活函数、门控机制等，往往比传统的Transformer块设计更有效。

3. MILA：

①将Mamba重新表述为线性注意力Transformer的一个变体，并指出了六个差异性（distinctions）：输入门、遗忘门、快捷连接、无注意力归一化、单头和修改后的块设计。

②使用广泛使用的Swin Transformer架构作为基线模型，分别向基线模型中引入了六个差异性，以评估每个差异对模型性能的影响。

③基于评估结果，将有用的结构设计整合到线性注意力Transformer中，创建了MILA模型，形成了在图3(c)中展示的MILA块，计算复杂度为：

图片

④MILA模型结合了线性注意力和Mamba设计的优点，旨在在不同的视觉任务中实现更优的性能。

图片

图7：MILA模型的架构。

四、实验分析 

1. 实验设置：使用Swin Transformer架构来验证六个区别的影响，通过将Softmax注意力替换为线性注意力创建基线模型，并分别引入每个区别来评估其影响。

2. 实验方法：实验包括图像分类、目标检测和语义分割等任务，通过比较不同模型的参数数量、浮点运算次数（FLOPs）、吞吐量和Top-1准确率来评估模型性能。

3. 实验结果：实验结果表明，遗忘门和块设计是Mamba成功的核心因素，而其他四个区别对模型性能的影响较小。基于这些发现，提出了Mamba-Inspired Linear Attention（MILA）模型。

图片

4. MILA模型的性能：MILA模型在多个视觉任务中超越了各种视觉Mamba模型，同时保持了并行计算和快速推理速度。在ImageNet-1K分类任务中，MILA模型在不同模型大小下均取得了更高的准确率。

图片

5. MILA模型的效率：MILA模型在推理速度上显著优于视觉Mamba模型，例如在COCO目标检测任务中，MILA模型的推理速度比Mamba2D快4.5倍，同时保持了更高的准确率。

图片

图片

6. MILA模型的适用性：MILA模型在高分辨率密集预测任务中也表现出色，例如在ADE20K语义分割任务中，MILA模型的性能优于其他模型。

图片

 五、代码 

https://github.com/AIFengheshu/Plug-play-modules

2025年全网最全即插即用模块，全部免费！适用于图像分类、目标检测、实例分割、语义分割、单目标跟踪（SOT）、多目标跟踪（MOT）、RGBT、图像去噪、去雨、去雾、去模糊、超分等计算机视觉（CV）和图像处理任务，持续更新中......

欢迎转发、点赞、收藏~

YoloV9改进策略：注意力改进|BackBone改进|自研全新的Mamba注意力|即插即用，简单易懂|附结构图|检测、分割、关键点均适用（独家原创，全世界首发）
m0_47867638的博客
04-24 600
无Mamba不狂欢，本文打造基于Mamba的注意力机制。全世界首发基于Mamba的注意力啊！对Mamba感兴趣的朋友一定不要错过啊！
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%
代码讲故事
04-27 1340
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%。
Mamba+目标检测：登Nature子刊新高度！小目标检测性能飞跃，刷新SOTA记录！
m0_73122726的博客
10-11 1412
近期，随着Mamba的横空出世，目标检测领域迎来了诸多崭新进展，尤为瞩目的是在Nature子刊上发表的YOLOv5_mamba，其在小目标检测方面展现出了卓越的性能，达到了业界的顶尖水平。为了方便大家能够更好的掌握这个创新思路，然后运用到自己的文章中，我为大家整理了最新的Mamba+目标检测研究论文！
Mamba是一种线性注意力？清华大学揭开视觉Mamba的真面目！
CV_Autobot的博客
06-12 1332
作者|科技猛兽 编辑| 极市平台点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『Mamba』技术交流群本文只做学术分享，如有侵权，联系删文导读本文揭示了 Mamba 模型与 Linear Attention Transformer 之间有着惊人的相似之处。作者通过探索 Mamba 和 Linear Trans...
CV技术指南 | 其实Mamba是一种线性注意力？清华大学黄高团队揭秘开视觉Mamba的真实面目！
csdn_xmj的博客
06-11 2391
Mamba 是一种具有线性计算复杂度的状态空间模型。其最近在处理不同视觉任务的高分辨率输入中展示出很不错的效率。本文揭示了 Mamba 模型与 Linear Attention Transformer 之间有着惊人的相似之处。作者通过探索 Mamba 和 Linear Transformer 之间的相似性和差异，在本文中提供了一个全面的分析来揭示 Mamba 成功的关键因素。
Mamba是一种线性注意力？清华黄高团队揭秘视觉Mamba的真实面目！
阿木寺的博客
06-09 2258
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达祝大家端午节快乐！最大福利来了！赠送CVer学术星球新用户50元优惠券(下方左图)，老用户7折+20元续费券(下方右图)，星球里论文涨点idea非常多，最强助力你的科研和工作！还没加入/续费的同学快扫码加入！最佳机会！转载自：极市平台 | 作者：科技猛兽导读本文揭示了 Mamba 模型与 Linear Attention Tr...
【AI学习】Mamba学习（二十）：Mamba是一种线性注意力
bylander的博客
12-07 965
理解Mamba的一个维度是从RNN出发，另一个维度是从线性注意力的角度。
清华大学严选！Mamba+注意力机制刷爆SOTA，推理速度狂飙300%！
Malaai的博客
03-31 756
Mamba凭借状态空间模型（SSM）的线性计算复杂度，在长序列建模领域具有不输Transformer的统治地位，而注意力机制的全局依赖感知进一步巩固了这种优势。其创新性硬件感知扫描策略（HASS）将原始MambaIR的四向扫描压缩至单次遍历，通过动态门控注意力重加权机制，在保持97.3%像素采样完整性的同时，使DIV2K数据集上的计算能耗直降58%。Mamba-注意力混合架构的技术突破呈现出多维度辐射。，供同学们学习与参考，欢迎自取~
CVPR 2025 | 清华团队提出MambaIRv2：Mamba＋注意力混合架构突破SOTA，推理效率提升300%！
xiaoganbuaiuk的博客
04-12 761
基于状态空间模型（SSM）的线性计算架构，Mamba在长序列建模领域展现出与Transformer相当的竞争力。清华大学研究团队最新提出的MambaIRv2创新融合两种技术优势，在图像复原领域实现了计算效率与全局精度的双重突破。该方案通过硬件感知扫描优化策略（HASS）实现关键技术改进：将传统四阶段扫描流程优化为单次扫描流程，结合动态注意力加权机制，在DIV2K数据集测试中，不仅维持97.3%的像素信息完整性，更实现58%的能耗降低。
【论文略读】（MLLA）清华大学--Demystify Mamba in Vision: A Linear AttentionPerspective
weixin_45927386的博客
06-19 5350
引入Baseline Mamba，指明Mamba在处理各种高分辨率图像的视觉任务有着很好的效率。文章发现了强大的Mamba和线性注意力Transformer（ linear attention Transformer）非常相似，然后就分析了两者之间的异同。
Mamba刚火就凉了？视觉真的需要Mamba吗？
3D视觉工坊
05-18 1438
Mamba，一种具有类似RNN的状态空间模型（SSM）的标记混合器的架构，最近被引入以解决注意力机制的二次复杂度，并随后应用于视觉任务。然而，与卷积和基于注意力的模型相比，Mamba在视觉方面的性能通常令人失望。在本文中，我们深入探讨了Mamba的本质，并在概念上得出结论，即Mamba非常适用于具有长序列和自回归特性的任务。对于视觉任务，由于图像分类既不符合长序列特性也不符合自回归特性，我们假设Mamba对于这个任务不是必要的；
YOLO11创新改进系列：卷积，主干 注意力，C3k2融合，检测头等创新机制（已更新110+）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-29 1万+
本专栏提供详细的 YOLO11 教程，包括基础知识、源码解析、入门实践、算法改进和项目实战，适合发表YOLO11 学习者订阅。内容包含 100+多篇独家改进机制，适合发表论文，评分高达 96 分。订阅者将获得一键运行的改进文件及答疑交流群支持。 使用服务器的同学还可以私聊获取搭建好的运行环境。
YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例
热门推荐
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-06 3万+
大家好！欢迎阅读本专栏。本专栏涵盖了YOLO8中C2f、主干网络、检测头、注意力机制、Neck等多种结构的创新，同时也包括了 YOLO相关的基础知识以及相关项目。
深入解析 PyTorch 中的 torch.distributions模块与 Categorical分布
fydw_715的博客
04-28 661
模块为 PyTorch 用户提供了丰富且灵活的概率分布工具，类是其中处理离散类别分布的重要成员。通过使用，我们可以方便地进行随机采样、概率计算和模型的概率化处理。这对于强化学习、生成模型、自然语言处理等需要处理离散随机变量的领域尤为重要。在实际应用中，善用模块，可以使模型更具表达力和灵活性。希望本文能帮助读者更好地理解和使用 PyTorch 中的概率分布工具，为深度学习模型的构建和研究提供有力支持。参考资料PyTorch 官方文档 - Distributions。
pytorch写张量pt文件，libtorch读张量pt文件
高恩阳的博客
04-27 367
以下是一个最简单的例子，展示如何在 Python 中保存张量到 TorchScript 模块，并在 C++ 中使用 LibTorch 加载。直接再python中，用torch.save保存的张量，可能因格式差异无法在C++中加载。这种方法可靠，因为 TorchScript 提供了跨语言的序列化支持，保证张量数据一致性。Python 代码 (save_tensor.py)C++ 代码 (load_tensor.cpp)
新！在 podman-machine-default 中安装 CUDA、cuDNN、Anaconda、PyTorch 等并验证安装
love530love的博客
04-25 1168
在 Windows 系统开发环境中，Podman Desktop 凭借强大的容器管理与 WSL-Linux 子系统集成能力备受开发者关注。其中，podman-machine-default 是 Podman Desktop 安装后自带的默认 WSL-Fedora 子系统，支持与显卡通信，可用于搭建深度学习环境及部署 AI 项目。解锁新技能！Windows 11 借助 WSL - Linux 部署 GitHub 项目全攻略_wsl github-CSDN博客。
CUDA、pytorch、配置环境教程合集
最新发布
qq_50291870的博客
04-28 528
记录一些更新cuda时需要用的教程
用Python做有趣的AI项目5：AI 画画机器人（图像风格迁移）
roc_ever的博客
04-28 546
这个项目将使用 PyTorch 实现图像风格迁移（Neural Style Transfer），让一张图片看起来具有另一张图片的“艺术风格”。Python 3.8+PyTorch（pip install torch torchvision）PIL（pip install pillow）CUDA（可选，但建议有 GPU） ✅ Step-by-step：图像风格迁移项目详解（含代码） ✅ Step 1：导入库 ✅ Step 2：设备设置（使用 GPU 优先） ✅ Step 3：图像加载与预处理函数 ✅ S
深度学习---Pytorch概览
2301_80079642的博客
04-28 1043
开源深度学习框架：由 Facebook（Meta）AI 实验室开发，基于 Lua 语言的 Torch 框架重构，2017 年正式开源，主打动态计算图和易用性。核心优势：灵活的动态图机制、Python 优先的开发体验、强大的 GPU 加速支持、丰富的生态系统。定位：兼顾科研快速迭代（动态图灵活性）与工业部署（TorchScript、ONNX 支持），是学术界和工业界的主流框架之一。
线性注意力机制和mamba
01-20
### 线性注意力机制概述 线性注意力机制旨在减少传统自注意力机制中的计算复杂度，从而允许更高效地处理长序列数据[^1]。传统的自注意力机制具有二次时间复杂度 \(O(n^2)\)，这使得其难以应用于非常长的输入序列。相比之下，线性注意力机制能够在线性时间内完成相似的任务。 ```python import torch.nn as nn class LinearAttention(nn.Module): def __init__(self, dim): super().__init__() self.to_qkv = nn.Linear(dim, dim * 3) def forward(self, x): qkv = self.to_qkv(x).chunk(3, dim=-1) q, k, v = map(lambda t: rearrange(t, 'b n (h d) -> b h n d', h=8), qkv) # Efficient computation of attention scores and output dots = einsum('b h i d, b h j d -> b h i j', q, k) out = einsum('b h i j, b h j d -> b h i d', dots.softmax(dim=-1), v) return out.mean(dim=1) ``` ### Mamba 架构特点及其改进 Mamba 架构最初设计用于解决特定类型的序列建模问题，在此基础上发展而来的 Falcon Mamba 进一步增强了这一框架的能力[^2]。值得注意的是，尽管名称中含有 "Mamba" 字样，但实际上该结构并未采用典型的线性注意力机制来构建；相反，它借鉴了一些循环神经网络(RNN)的设计理念，并引入了RMS规范化层以支持更大规模的数据集上的稳健训练过程。 #### RMS Normalization Layer 实现 为了提高模型稳定性并促进更快收敛速度，Falcon Mamba 中加入了RMS正则化技术： ```python from typing import Optional import torch def rms_norm(tensor: torch.Tensor, unbiased: bool=True, eps: float=1e-08) -> torch.Tensor: """Applies Root Mean Square normalization over a batch.""" var = tensor.var(unbiased=unbiased, keepdim=True) return tensor / ((var + eps)**0.5) ``` ### 应用场景分析 对于需要处理极长文本或其他形式连续信号的应用来说，像Falcon Mamba这样的优化版本提供了显著优势——不仅能够在资源受限环境下运行良好（例如仅需单张A10显卡即可），而且还能保持较高的推理效率不受上下文长度影响。因此这类方法特别适合部署于移动设备或是云端服务端口上执行实时预测任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI缝合术

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值