ECCV 2024 | CC-SAM：用于超声图像分割的跨特征注意力和上下文的SAM

最新推荐文章于 2025-05-09 09:50:32 发布

Python编程杰哥

最新推荐文章于 2025-05-09 09:50:32 发布

阅读量1.2k

点赞数 13

文章标签： milvus 人工智能语言模型自然语言处理 transformer

本文链接：https://blog.csdn.net/xx_nm98/article/details/144356898

版权

论文信息

题目：CC-SAM: SAM with Cross-feature Attention and Context for Ultrasound Image Segmentation

CC-SAM：用于超声图像分割的跨特征注意力和上下文的SAM

论文创新点

变分注意力融合模块（Variational Attention Fusion Module）：作者提出了一个新颖的变分注意力融合模块，该模块能够增强模型在医学图像分割中捕获局部空间信息的能力。这一模块通过整合卷积神经网络（CNN）和视觉变换器（ViT）分支的特征，优化了特征的融合过程。
静态CNN与适配器的结合：在SAMUS的基础上，作者通过引入一个固定的CNN分支，并配合适配器使用，改进了模型的结构。这种方法不仅提高了计算效率，而且通过适配器进一步细化了编码器的表示。
基于文本的提示：作者利用ChatGPT生成的文本提示来指导模型，显著提高了SAM在超声医学图像分割中的性能。这种方法使得模型能够更好地理解超声医学图像的细节，并提高分割的准确性。

摘要

Segment Anything Model（SAM）在自然图像分割领域取得了显著的成功，但在医学图像领域的应用遇到了挑战。具体来说，该模型在处理医学图像时存在困难，这些图像特征对比度低、边界模糊、形态复杂且包含小尺寸物体。为了应对这些挑战并增强SAM在医学领域的性能，作者引入了一种全面的修改。首先，作者整合了一个固定的卷积神经网络（CNN）分支作为图像编码器，通过一个新颖的变分注意力融合模块与SAM原始的视觉变换器（ViT）编码器协同工作。这种整合增强了模型捕获局部空间信息的能力，在医学影像中这一点至关重要。此外，为了进一步优化SAM以适应医学成像，作者在ViT分支中引入了特征和位置适配器，以改善编码器的表示。作者发现，与当前微调SAM以进行超声医学分割的提示策略相比，使用作为文本提示的文本描述可以显著提高性能。利用ChatGPT的自然语言理解能力，作者生成了提供上下文信息和指导的提示，使SAM能够更好地理解超声医学图像的细微差别，并提高其分割精度。总的来说，作者的方法在使通用图像分割模型在医学领域更适应和高效方面迈出了重要一步。

关键词

图像分割、医学成像、卷积神经网络、视觉变换器、注意力机制

3. 提出的方法

图2提供了作者方法的详细视图。本质上，作者使用ViT-B[9]（SAM的预训练图像编码器）和ResNet50[24]处理图像I，ResNet50在RadImageNet[38]上进行了预训练。在特征提取之后，适配器对这些表示进行细化。然后使用变分注意力机制融合特征，形成SAM掩码解码器的组合特征。对于提示，作者使用GPT-4生成的标签描述，并将其与Med-BERT[44]一起嵌入。Grounding DINO模型，未在医学数据上训练，从这个嵌入创建一个边界框，该边界框输入到提示编码器。与变分注意力特征一起，提示编码器帮助掩码解码器创建最终的分割掩码。

3.1 带有适配器的冻结主干

作者通过引入位置适配器和五个特征适配器，增强了SAM的图像编码器（ViT分支），使其更好地适应较小输入和医学图像，遵循SAMUS[33]。这些适配器使用较少的参数高效地微调ViT分支。具体来说，位置适配器修改位置嵌入以匹配嵌入序列的分辨率。它首先使用最大池化对这些嵌入进行下采样，然后使用卷积操作进行细化，使ViT能够更好地管理较小的输入。每个五个特征适配器都遵循一致的设计，具有向下的线性投影、激活和向上的投影。这在数学上表示为：

这里，G表示GELU激活函数，而和是投影矩阵。在这种情况下，'d’表示特征嵌入的维度。与SAMUS的端到端CNN训练不同，作者使用一个静态的、在RadImageNet[38]上预训练的ResNet-50模型。作者在其分类层之前添加了一个可训练的全连接层，作为适配器。然后两个分支的输出进入作者的变分注意力融合块。

3.2 变分注意力融合块

作者做出的一个主要贡献是变分注意力融合块（Variational Attention Fusion Block），它巧妙地融合了局部CNN特征和全局ViT特征。尽管SAMUS引入了一个跨分支注意力模块，但作者的方法，它对这些特征的不确定性进行建模并应用变分注意力融合，表现更佳（细节见第4.3节）。参见图3以获得概览。

不确定性学习

在不确定性学习中，对于输入图像I，作者从ViT和ResNet-50中提取特征sv和sc。两者sv和sc都属于固定维度的潜在空间Rdh。作者使用每个网络末端的潜在编码器Ev和Ec来实现一致的大小。为了解决数据不确定性，作者为每个样本的内容设计了一个潜在分布，这有助于捕获语义关系。这个分布被塑造成一个参数化的对角高斯分布。这在数学上表示为：

这里，zv和zc是重构向量。均值，捕获每种模式的核心特征，而方差，表示预测这些均值时由噪声引起的不确定性。更高的方差表示对观察到的内容有更多的不确定性。两个高斯参数都依赖于输入，并通过MLP进行预测。例如，对于ViT特征：和，其中和是各自的模型参数。CNN特征同样适用。现在，每个样本的特征表示从确定性转变为随机高斯分布的嵌入在潜在空间中。由于采样的非可微性质，作者使用重参数化技巧[30]来保持梯度流动。作者从正态分布中抽取随机噪声η，与模型参数无关，并使用它来产生zv，如等式4详细说明。作者对zc重复此操作。

变分注意力融合

CNN和ViT从图像中捕获不同的特征方面（局部和全局）。作者将这些视为两种模式：v代表ViTs，c代表CNNs。将它们结合起来并不直接，因为它们有不同的置信度水平。标准方法，从数据中获得权重，错过了每种模式的独特特征。为了解决这个问题，作者开发了一个变分注意力融合（VAF）模块。这个模块旨在通过确定模态特定的权重来捕获模态之间的细微差别，实现无缝集成。简而言之，使用每种模式的特征，标准注意力方法创建一个概率（其中k是v或c），如等式5所示。这里，显示每种模式的贡献程度，而Wm和bm是可训练的因素。通过设置权重，它选择正确的特征，而不受到不同模式之间变化的置信度水平的影响。

作者的VAF模块使用变分注意力权重而不是点估计的注意力向量。这种方法基于概率分布（等式6），更好地考虑了模态间的不确定性。

作者使用恒等变换来保留变分注意力中的模态特征。均值和方差参数是由输入预测的MLP预测的。值表示模态之间的置信度水平。有了VAF方法，更有信心的模态特征被增强，而不太有信心的被减少，优化了多模态数据融合，并捕获了互补特征。最终表示结合了模态特定的输出，zc和zv，使用加权聚合如等式7所示，其中Wh是可学习的权重矩阵。

3.3 引导提示编码器

SAM的掩码解码器[31]需要h和来自提示编码器的输入。虽然以前适应医学成像的SAM使用点提示，但作者的结果显示一个合理的好的边界框可以提高性能。创建这个边界框需要一个专门的模型。使用随机边界框可能会阻碍结果，需要特定的提示。作者使用Grounding-DINO[34]进行边界框生成。虽然不是专门针对医学图像训练的，Grounding-DINO是一个有效的目标检测器。作者使用GPT-4[39]为特定类标签制作文本提示，然后MedBERT[44]为Grounding-DINO生成嵌入输入。虽然这确实提高了作者与使用点提示相比的性能，作者在补充材料中展示了使用同一套随机点提示，作者超过了所有其他医学基础模型。输入到GPT-4 “为医学图像分析任务创建一个简洁的描述。任务涉及使用超声图像来分割和识别特定的解剖结构或病理。使用[target]来制作一个可以适应任何分割目标的通用描述。” 输出来自GPT-4 “在超声图像中分割和识别[target]。这需要从周围组织中精确划分[target]，以便准确诊断和评估。挑战包括处理超声图像质量的固有变异性，包括斑点噪声、阴影以及患者之间的解剖变异范围。通过算法能够一致且准确地识别和描绘[target]的能力来衡量此任务的成功，为医学决策过程提供关键信息。” 其中[target]针对每个数据集进行修改。

4. 实验分析

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述