Mamba
文章平均质量分 92
JOYCE_Leo16
计算机视觉,深度学习,图像处理
展开
-
Mamba入局遥感图像分割 | Samba: 首个基于SSM的遥感高分图像语义分割框架
本文将为大家介绍来自西交利浦大学、澳大利亚科学与工业研究院矿物研究所以及利物浦大学联合提出的最新工作Samba,这是一种基于状态空间模型的遥感图像语义分割方法。该工作提出了高分辨率遥感图像的语义分割框架 Samba,性能指标均超越了CNN-based和ViT-based方法,证明了Mamba在遥感高分图像中作为新一代backbone的潜力,为遥感语义分割任务提供了 mamba-based 方法的表现基准。值得一提的是,Samba是第一个将状态空间模型(SSM)运用到遥感图像语义分割任务中的工作,代码已开源,原创 2024-04-08 13:51:49 · 1694 阅读 · 5 评论 -
Mamba 作者谈 LLM 未来架构
在大模型领域,一直稳站C位的 Transformer 最近似乎有被超越的趋势。这个挑战者就是一项名为【Mamba】的研究,其在语言、音频和基因组学等多种模态中都达到了SOTA性能。在语言建模方面,无论是预训练还是下游评估,Mamba-3B模型都优于同等规模的Transformer模型,并能与两倍于其规模的 Transformer 模型相媲美。论文一经发表,引起了不小的轰动。原创 2024-02-24 14:09:58 · 1091 阅读 · 0 评论 -
推理速度暴增,Mamba终结Transformer的统治 !!
在这篇关于 Mamba 的文章中,我们来探索这个创新的状态空间模型(state-space model,SSM)如何在序列建模领域带来革命性的变革。Mamba 是由 Albert Gu 和 Tri Dao开发的,因其在语言处理、基因组学、音频分析等领域的复杂序列时表现出色而受到关注。Mamba 采用线性时间序列建模和选择性状态空间,因此在这些不同的应用领域都展现出了卓越的性能。本文,我们将深入了解 Mamba 是如何解决传统 Transformer 在处理长序列时遇到的计算挑战的。原创 2024-02-23 20:10:29 · 2447 阅读 · 0 评论