ICML 2024 Mamba 论文总结

最新推荐文章于 2025-03-13 19:36:25 发布
最新推荐文章于 2025-03-13 19:36:25 发布
阅读量2.8k 收藏 19
点赞数 8
分类专栏： 时空数据 文章标签： 人工智能 数据挖掘 深度学习 机器学习 python 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/suzukiwudi/article/details/139200626
版权

2024ICML（International Conference on Machine Learning，国际机器学习会议）在2024年7月21日-27日在奥地利维也纳举行

🌟【紧跟前沿】“时空探索之旅”与你一起探索时空奥秘！🚀
欢迎大家关注时空探索之旅时空探索之旅QRCode

Mamba进行了自我更新迭代变为了Mamba2接收了（Gu和Dao换了一下作者顺序）

Transformers are SSMs: Generalized Models and Efficient Algorithms with Structured State Space Duality

作者：Tri Dao，Albert Gu

链接：https://icml.cc/virtual/2024/poster/32613

注：现在都是poster，还没有评出来Oral

Mamba2

另外标题带Mamba的还有两篇

Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model

（已经太多号推过这个文章了）

作者：Lianghui Zhu, Bencheng Liao, Qian Zhang, Xinlong Wang, Wenyu Liu, Xinggang Wang

机构：华中科技大学，地平线机器人，北京智源研究院

链接：https://arxiv.org/abs/2401.09417

代码：https://github.com/hustvl/Vim

VisionMamba

Can Mamba Learn How To Learn? A Comparative Study on In-Context Learning Tasks

作者：Jongho Park, Jaeseung Park, Zheyang Xiong, Nayoung Lee, Jaewoong Cho, Samet Oymak, Kangwook Lee, Dimitris Papailiopoulos

机构：蓝洞工作室（做绝地求生即吃鸡那个公司），首尔大学，威斯康辛大学麦迪逊分校，密歇根大学安娜堡分校

链接：https://arxiv.org/abs/2402.04248

代码：https://github.com/krafton-ai/mambaformer-icl

MambaFormer

搜索State-space Models和State space Models也能搜到一共7篇，感兴趣的各位可以搜一下看看，我就不一一罗列了。

State-space Models
State space Models

相关链接

ICML24全部论文：ICML 2024 Papers

🌟【紧跟前沿】“时空探索之旅”与你一起探索时空奥秘！🚀
欢迎大家关注时空探索之旅时空探索之旅QRCode

2025年数学建模美赛 时间序列预测模型详解 思路解析和代码 2025年美赛（MCM/ICM）
m0_52343631的博客
01-07 1664
时间序列是按时间顺序排列的数据集，每一项数据都与时间戳相关。常见的时间序列数据包括股市价格、气温、销售数据等。趋势性（Trend）：数据随时间变化呈现出一种长期的上升或下降趋势。季节性（Seasonality）：数据的变化具有规律性，通常在某些特定的时间段内会出现周期性波动。周期性（Cyclic）：数据变化呈现不规则的周期性波动，通常与经济周期等因素相关。随机性（Randomness）：时间序列数据中存在不可预测的随机波动。
Mamba刚火就凉了？视觉真的需要Mamba吗？
3D视觉工坊
05-18 1435
Mamba，一种具有类似RNN的状态空间模型（SSM）的标记混合器的架构，最近被引入以解决注意力机制的二次复杂度，并随后应用于视觉任务。然而，与卷积和基于注意力的模型相比，Mamba在视觉方面的性能通常令人失望。在本文中，我们深入探讨了Mamba的本质，并在概念上得出结论，即Mamba非常适用于具有长序列和自回归特性的任务。对于视觉任务，由于图像分类既不符合长序列特性也不符合自回归特性，我们假设Mamba对于这个任务不是必要的；
Mamba最新综述《A Survey of Mamba》-2024.8.5（下半篇）
winner_liuhuan的博客
08-08 4193
Mamba是一种新兴的深度学习架构，由于其强大的建模能力和计算效率，它在语言生成、图像分类、推荐和药物发现等不同领域取得了显著的成功。最近，已经做出了越来越多的努力来开发具有更强大的表示学习能力和更低的计算复杂度的基于曼巴的深层学习模型。鉴于曼巴的迅速发展，迫切需要有一个系统的概述。为了弥合这一差距，在本文中，我们提供了一个全面的审查Mamba，重点是其架构的进步，数据的适应性和应用领域，提供研究人员既深入了解和Mamba的最新发展的概述。
【CVPR 2024】状态空间对偶+多阶段状态融合+高效视觉Mamba模块
Angelina_Jolie的博客
03-10 1368
本文提出了一种新型的视觉架构Efficient Vision Mamba (EfficientViM)，它基于隐藏状态混合器的状态空间对偶性（HSM-SSD），能够以更低的计算成本高效捕捉全局依赖关系。通过重新设计SSD层，将通道混合操作置于隐藏状态中，并引入多阶段隐藏状态融合，进一步增强了隐藏状态的表示能力。实验结果表明，EfficientViM在ImageNet-1k数据集上实现了新的速度-精度权衡，在高分辨率图像和知识蒸馏训练时也表现出显著的性能提升。ImageNet-1K 分类上各类模型的比较。
MAMBA论文疑被拒收，计算机科学顶会评审遭质疑
weixin_4528312的博客
01-26 1878
基于 Mamba 的创新正不断涌现，但原论文却被 ICLR 放到了「待定区」。这桩疑案一被曝出，立刻引发轩然大波，连LeCun都跳出来喊冤。
ICML 2024 顶级论文：机器学习领域的新进展
2401_85373898的博客
11-21 2066
然而，论文指出，公开数据本身可能包含敏感或私人信息，而即使经过“隐私保护”的微调，模型仍然可能会记住其预训练数据，这直接危害了隐私，并削弱了“隐私学习”的意义。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。受 LLM 和基础模型快速发展的启发，研究人员提出了一种名为 TimesFM（时间序列基础模型）的基础模型，用于零样本时间序列预测。
机器人多任务操作的SAM-E架构
python_plus的博客
06-12 1068
介绍ICML2024论文《SAM-E: Leveraging Visual Foundation Model with Sequence Imitation for Embodied Manipulation》
ICML 2024 时间序列（Time Series）论文总结【抢先版】
suzukiwudi的博客
05-18 1万+
2024ICML（International Conference on Machine Learning，国际机器学习会议）在2024年7月21日-27日在举行（好像ICLR24现在正在维也纳开）。本文总结了ICML 24有关的相关论文，如有疏漏，欢迎大家补充。同时我也蹭一下Mamba的热度，放了3篇ICML接收的Mamba的文章。：预测，因果，表示学习，分类，异常检测，插补，生成，不确定性量化，基础模型，大模型。
ICML 2024高分论文 | 零阶优化器微调大模型，大幅降低内存，附代码地址下载
代码讲故事
07-15 1648
ICML 2024高分论文 | 零阶优化器微调大模型，大幅降低内存，附代码地址下载
Vision Mamba论文精读笔记
最新发布
小小老大MUTA的博客
03-13 1388
《Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model 》论文翻译详解
Mamba杀入MICCAI 2024！SegMamba和Swin-UMamba均收录！
阿木寺的博客
05-14 2269
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba和医学影像】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！不出所料，Mamba+医学影像相关工作在MICCAI 2024上爆发性收录！早下手的同学赢麻...
算法进阶 | 深度解析Transformer、RNN和Mamba的联系！
csdn_xmj的博客
09-26 1284
本文深入探讨了Transformer、循环神经网络（RNN）和状态空间模型（SSM）之间的潜在联系。文章首通过这些分析，展示了看似不同的模型架构之间存在深层联系，为未来模型设计和跨架构思想交流提供了新的视角和可能性。
【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-14 9794
你是否在全网苦寻【图像去噪（ImageDenoising）】的相关资料？你的目标是否是看懂【图像去噪（ImageDenoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（ImageDenoising）】的相关论文毕业？你是否需要做【图像去噪（ImageDenoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（ImageDenoising）】有关的问题，那么请继续往下看。
ICML 2024高分论文 | 大幅降低内存！用零阶优化器微调大模型
Paper weekly
07-05 354
©作者 |张逸骅单位 |密歇根州立大学博士生来源 |机器之心开源大语言模型（LLM）百花齐放，为了让它们适应各种下游任务，微调（fine-tuning）是最广泛采用的基本方法。基于自动微分技术（auto-differentiation）的一阶优化器（SGD、Adam 等）虽然在模型微调中占据主流，然而在模型越来越大的今天，却带来越来越大的显存压力。因此，如何高效地在微调中降低显存使得单卡可以...
一文了解机器学习顶会ICML 2024的研究热点
audyxiao001的博客
08-23 1万+
本文通过图文并茂的方式介绍了ICML 2024的研究热点，帮助读者了解和跟踪机器学习和人工智能的前沿研究方向。
（2024|ICML，Mamba2，SSD，SSM，SMA，矩阵变换，张量收缩，张量并行）Transformer 是 SSM
qq_44681809的博客
06-04 3236
本文提出 SSD 框架，它使用两种表示序列模型的框架（矩阵变换和张量收缩）揭示了 SSM 与结构化掩码注意力的对偶性​。基于此，它修改 Mamba 模块，来实现张量并行​，并结合修改的 Mamba 模块与 SSD，形成可并行的 Mamba2
【论文阅读】SST: Multi-Scale Hybrid Mamba-Transformer Experts for Long-Short Range Time Series Forecasting
有时候，想要一块二向箔
10-18 1866
作者在方法部分提出了一个多尺度的混合Mamba-Transformer架构，称为State Space Transformer（SST）。SST模型的核心思想是将时间序列分为长程全局模式和短程局部变化，分别由Mamba模型和Local Window Transformer（LWT）负责处理。为了实现这两者的有效结合，设计了一个长短期路由器来动态调整这两个专家模型的贡献。
一文通透mamba2「力证Transformer are SSM」：从SSM、半可分矩阵、SMA、SSD到mamba2
热门推荐
结构之法 算法之道
07-03 2万+
实话说，过去一两月一直忙着我司两大类项目的推进所以虽然说mamba2已发布一月有余，但实在是没有一块完整的时间来对其做详尽而细致的解读，而最终促使我来写的最大的动力还是来源于我半年前对mamba1的解读实在是太受欢迎了且影响力巨大然，在我下定决心写本文之前，内心还是有过一阵小纠结的不过还是因为过去十多年写博客的经验，使得自己在面对再难啃的算法都有足够的自信与底气，坚信都可以一步步拆解、一步步抽丝剥茧并清晰易懂的写出来，故本文最终还是来了。
关于Mamba和Mamba-2经典论文的学习笔记总结，以及Mamba和Transformer的对比总结，欢迎交流
qq_66536007的博客
07-01 6361
分享一下Mamba的经典论文学习笔记，以及Mamba-2的提出，简单的对Mamba和Transformer的异同进行了归纳，本此分享从第一部分Mamba的提出背景和结构原理，第二部分Mamba与Transformer的异同，第三部分mamba-2的提出背景和结构原理，第四部分我的个人学习心得，这四个方面进行总结，欢迎交流
mamba模型论文
03-09
### Mamba 模型相关论文概述 #### 关于Mamba模型的发展历史及其重要性 Mamba模型的研究和发展经历了一系列重要的里程碑。值得注意的是，Mamba的故事与Word2vec有相似之处，在早期阶段曾面临挑战。尽管最初的提交在2013年的ICLR会议上遭到拒绝，但这并未阻止其后续发展并最终成为自然语言处理(NLP)领域的重要组成部分[^4]。 #### 经典版本：Mamba 和 Mamba-2 对于希望深入了解Mamba架构的经典实现方式而言，《Mamba和Mamba-2经典论文》是一个不可或缺的资料来源。这份文档不仅涵盖了原始设计理念和技术细节，还探讨了这些技术如何应用于实际场景中，并通过具体案例分析证明了它们的有效性和优越性[^1]。 #### 多模态学习探索：VL-Mamba 《Exploring State Space Models for Multimodal Learning》一文中介绍了VL-Mamba框架，这是对传统Mamba结构的一次扩展尝试。文章重点描述了状态空间建模方法是如何帮助提高多模态环境下信息融合效果的具体机制[^2]。 #### 增强版编码器——T-Mamba 为了更好地满足特定应用场景下的需求，《T-Mamba: An Enhanced Encoder with Tokenization Capability》提出了改进后的T-Mamba方案。相较于基础版本和其他竞争者来说，这种新型号能够在保持较高精度的同时减少计算成本，从而达到更好的性价比表现[^3]。 ```python # 示例代码展示 T-Mamba 的部分特性 class TMambaEncoder(nn.Module): def __init__(self, vocab_size, embedding_dim=512, num_heads=8, feedforward_dim=2048): super().__init__() self.embedding = nn.Embedding(vocab_size, embedding_dim) # 更高效的自注意力层设计 self.self_attention = EfficientSelfAttention(embedding_dim, num_heads) def forward(self, input_ids): embeddings = self.embedding(input_ids) attended_output = self.self_attention(embeddings) return attended_output ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值