Mamba
文章平均质量分 81
cskywit
专注AI,热爱文学
展开
-
【论文阅读笔记】Mamba模型代码理解
Mamba模型代码实现及理解原创 2024-04-07 08:47:58 · 1887 阅读 · 5 评论 -
【论文阅读笔记】SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation
论文提出 3D 医学图像分割Mamba模型,与基于 Transformer 的方法相比,SegMamba 在状态空间模型的整个体积特征建模方面表现出色,体积特征的分辨率为 64×64×64。在BraTS2023数据集上进行验证。图片已经画得很清楚,都是基本块组成,只是将transformer块中的CNN换成了mamba块。在BraTS2023 数据集实验效果。原创 2024-01-26 08:12:15 · 606 阅读 · 3 评论 -
【长文阅读】MAMBA作者博士论文<MODELING SEQUENCES WITH STRUCTURED STATE SPACES>-Chapter6 Combining Orthogonal and
HIPPO指定了一类特定的矩阵。原创 2024-01-22 11:38:35 · 1274 阅读 · 0 评论 -
【长文阅读】MAMBA作者博士论文<MODELING SEQUENCES WITH STRUCTURED STATE SPACES>-Chapter5 HIPPO as Orthogonal SSMs
如果一个状态空间模型(SSM)由。原创 2024-01-22 10:54:13 · 1143 阅读 · 1 评论 -
长文阅读】MAMBA作者博士论文<MODELING SEQUENCES WITH STRUCTURED STATE SPACES>-Chapter4 HIPPO
给定。原创 2024-01-21 16:01:39 · 1306 阅读 · 1 评论 -
【长文阅读】MAMBA作者博士论文<MODELING SEQUENCES WITH STRUCTURED STATE SPACES>-Chapter3 Computing SSMs
Chapter 3 Computing Structured SSMsGu A. Modeling Sequences with Structured State Spaces[D]. Stanford University, 2023.本文是MAMBA作者的博士毕业论文,为了理清楚MAMBA专门花时间拜读这篇长达330页的博士论文,由于知识水平有限,只能尽自己所能概述记录,并适当补充一些相关数学背景,欢迎探讨与批评指正。内容多,分章节更新以免凌乱。第3章讨论了结构化状态空间模型(SSM),特别是S原创 2024-01-21 10:35:48 · 1157 阅读 · 0 评论 -
【长文阅读】MAMBA作者博士论文<MODELING SEQUENCES WITH STRUCTURED STATE SPACES>-Chapter2 Sequence Modeling with S
离散化后的SSM被定义为一个序列到序列的映射。原创 2024-01-19 23:41:48 · 1219 阅读 · 0 评论 -
【长文阅读】MAMBA作者博士论文<MODELING SEQUENCES WITH STRUCTURED STATE SPACES>-Chapter1
这篇文档的摘要介绍了在机器学习领域的显著进步,特别是在序列模型方面,这些模型对深度学习在各种科学应用中的成功至关重要。尽管目前的方法取得了成功,但它们在处理复杂的序列数据(如涉及长期依赖性的数据)时存在限制,例如需要大量的特定任务专业化、计算效率低下等问题。为了解决这些问题,论文介绍了一种使用状态空间模型的新方法。这些模型灵活、理论基础扎实、计算效率高,并且在多种数据类型和应用中表现出色。它们扩展了标准深度序列模型(如循环神经网络和卷积神经网络)的功能。原创 2024-01-19 17:53:39 · 633 阅读 · 0 评论 -
【论文阅读笔记】U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
在四个不同的任务上进行了广泛的实验:CT和MR图像中的3D腹部器官分割、内窥镜图像中的器械分割以及显微镜图像中的细胞分割。将CNN的局部特征提取能力与状态空间序列模型(SSM)的长程依赖性能力相结合。U-Mamba采用了一个编码器-解码器(encoder-decoder)的网络结构,这种结构能够同时捕获局部特征和长程上下文。 U-Mamba块的核心是结合了卷积层和SSM的混合块。本文对Mamba结构用于图像领域进行了简单的探索,就结构来说没有特别多创新,就是插入了Mamba块,但可以遇见下一个坑的到来。原创 2024-01-18 11:18:17 · 1758 阅读 · 1 评论