医图顶会 MICCAI‘24 | 基于视觉Mamba的医学图像分割方法

最新推荐文章于 2025-05-10 18:50:57 发布

小天才学习机打游戏

最新推荐文章于 2025-05-10 18:50:57 发布

阅读量1k

点赞数 5

文章标签：计算机视觉人工智能深度学习目标检测目标跟踪 pdf embedding

本文链接：https://blog.csdn.net/m0_59164520/article/details/144249928

版权

论文信息

题目：Polyp-Mamba: Polyp Segmentation with Visual Mamba

基于视觉Mamba的息肉分割方法

论文创新点

尺度感知语义模块（Scale-Aware Semantics Module, SAS）：该模块通过视觉状态空间（Visual State Space, VSS）块在多个尺度上分析和解释语义信息，实现从细节到广泛的粒度的语义数据建模。这使得模型能够捕捉跨尺度依赖性，增强了对不同尺度特征的理解和利用。
全局语义注入模块（Global Semantics Injection Module, GSI）：该模块利用交叉注意力机制将全局语义信息注入到局部特征中，以缩小全局特征和局部特征之间的语义差距。这种注入有助于模型更准确地识别息肉与正常组织之间的边界，提高分割质量。
跨尺度特征融合：Polyp-Mamba框架通过SAS模块融合了不同尺度的特征，这有助于模型捕捉到息肉的局部细节和全局上下文信息，从而提升分割的准确性。

摘要

在结肠镜筛查中，准确分割息肉对高效结直肠癌检测至关重要。最近，状态空间模型（例如 Mamba）作为一种有前景的方法出现，它在建立长期依赖关系方面表现出色，并且计算复杂度与输入大小呈线性关系。然而，先前的方法没有考虑不同像素之间的跨尺度依赖性以及特征表示和语义嵌入中的一致性，这对于息肉分割至关重要。因此，我们引入了 Polyp-Mamba，这是一个新颖的统一框架，旨在通过整合多尺度特征学习和语义结构分析来克服上述限制。具体来说，我们的框架包括一个尺度感知语义模块，该模块能够将编码器中的多尺度特征嵌入到语义信息建模中，实现跨尺度的内部和跨尺度的建模，而不是先前研究中采用的单尺度方法。此外，部署了全局语义注入模块，以将尺度感知语义注入到相应的解码器特征中，旨在融合全局和局部信息，并增强金字塔特征表示。实验结果在五个具有挑战性的数据集和六个指标上表明，我们提出的方法不仅超越了最先进的方法，而且树立了该领域的新基准，突显了 Polyp-Mamba 框架在息肉分割任务中的卓越能力。

关键字

息肉分割 · Mamba · 尺度感知语义

2 方法

2.1 架构概述

如图 1 所示，提出的 Polyp-Mamba 架构从 UNet 和 Swin-UNet 中汲取灵感。Patch Embedding 层首先将输入图像分割成不重叠的块，然后映射到，得到嵌入图像。

在编码器中进行特征提取之前，对应用 Layer Normalization。编码器由四个阶段组成，在前三个阶段的末尾使用 Patch Merging 操作来降低输入特征的高度和宽度，同时将通道数翻倍。在四个阶段中，我们使用 VSS 块，每个阶段的通道数为。与编码器相对应的，解码器由 VSS 块和 Patch Expanding 层组成，后者通过跳跃连接恢复下采样过程中丢失的细节，实现与编码器相同的特征大小输出。在解码器之后，Final Projection 层通过 Patch Expansion 进行 4 倍上采样，以恢复特征的原始高度和宽度，然后通过一个投影层调整通道数以匹配分割目标。VSS 块作为 SAS 模块，接收来自编码器的多尺度特征作为输入，并生成具有尺度感知能力的语义。这些语义通过 GSI 模块注入到相应的尺度特征中，以增强模型的表示能力。这些模块的更多细节在后续部分讨论。

2.2 编码器和解码器

在 Polyp-Mamba 框架中，编码器首先通过两个连续的 VSS 块处理降分辨率的 C 维标记输入，同时保持原始尺寸和分辨率。然后，编码器应用三重 Patch Merging 操作作为下采样过程，将输入分割成四分之一大小的象限，将它们连接起来，并通过层归一化来归一化尺寸，从而减半标记数量并翻倍特征维度。相应地，解码器反映了编码器的结构，使用两个连续的 VSS 块和 Patch Expanding 层进行特征重建。与编码器中的合并层不同，解码器的扩展层通过上采样来增强分辨率，并将特征维度减半。这种设计允许解码器既能增强分辨率，又能恢复深度特征，为最终预测提供丰富的空间细节。

2.3 尺度感知语义模块

VSS 块，源自 VMamba，是 Poly-Mamba 的核心模块，SAS 模块由多个堆叠的 VSS 块组成。VSS 块的数量表示为。每个 VSS 块包括一个 -Selective-Scan (SS2D) 模块、线性层和残差连接，如图 1 (b) 所示。在层归一化之后，输入被分成两个分支。在第一个分支中，输入通过线性层和激活函数。在第二个分支中，输入通过线性层、深度可分离卷积和激活函数处理，然后输入到 SS2D 模块进行进一步的特征提取。随后，特征通过层归一化进行归一化，并与第一个分支的输出通过逐元素乘法合并两个路径。最后，特征通过线性层混合，并且这个结果与残差连接结合形成 VSS 块的输出。SiLU 被用作默认的激活函数。如图 1 (a) 所示，尺度感知语义模块接收多尺度特征作为输入。为了进一步降低计算负荷，平均池化操作符用于将不同尺度的标记数量从输入大小的减少。不同尺度的池化标记现在具有相同的分辨率，并作为 VSS 块的输入连接在一起。该模块能够获得全图像感受野和丰富的语义。具体来说，SS2D 使空间信息交换成为可能，而卷积层使跨尺度特征交互成为可能。在每个 VSS 块中，在交换了所有尺度的特征信息之后，学习残差映射，然后将其添加到特征中以增强表示和语义。最后，在通过几个 VSS 块处理后获得尺度感知语义。

2.4 全局语义注入模块

在获得尺度感知语义之后，我们直接将其与其他特征集成。然而，特征和尺度感知语义之间存在显著的语义差距，这可能会导致在准确识别息肉和正常组织之间的边界时遇到困难，影响分割结果的质量。因此，引入了 GSI 模块，在通过交叉注意力机制合并特征之前弥合语义差距。如图 1 © 所示，GSI 采用编码器中的不同局部特征和来自 VSS 的全局语义作为输入。局部特征通过卷积层，然后进行批量归一化，以生成要注入的特征。全局语义被送入卷积层，然后进行批量归一化和 sigmoid 层，以产生语义权重。同时，全局语义还通过卷积层和批量归一化。这三个过程的输出大小是统一的。然后，这些全局语义通过哈达玛德积注入到局部标记中，并且注入后的特征被添加到全局语义中。几个 GSI 的输出具有相同数量的通道，表示为。

2.5 损失函数

我们的目标是优化基于 SSM 的 Polyp-Mamba 模型在息肉分割任务中的性能。[26] 报告说，在不同层次上结合多个损失函数和自适应权重可以提高框架的性能并加快收敛速度。因此，我们使用二元交叉熵损失和加权 IoU 损失进行监督。和是权重系数。提出的 Polyp-Mamba 的总损失可以表示为：

3 实验和结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述