医图论文 Arxiv‘24 | SEG-SAM：用于统一医学图像分割的语义引导SAM

最新推荐文章于 2025-04-30 12:42:44 发布

Python编程杰哥

最新推荐文章于 2025-04-30 12:42:44 发布

阅读量1.1k

点赞数 18

文章标签：人工智能 python 算法 prompt 语言模型

本文链接：https://blog.csdn.net/xx_nm98/article/details/145651022

版权

论文信息

题目：SEG-SAM: Semantic-Guided SAM for Unified Medical Image Segmentation

SEG-SAM：用于统一医学图像分割的语义引导SAM

论文创新点

语义感知解码器：作者提出了一个独立的语义感知解码器（SAWD），该解码器与SAM的原始解码器分离，专门用于处理医学图像中的语义分割和分类任务。通过引入面向分割的标记（SO-Token）和面向分类的标记（CO-Tokens），SAWD能够在提示对象上进行语义分割，并在未提示对象上进行分类，从而避免了二值分割和语义分割之间的潜在冲突。
文本到视觉语义增强：作者开发了一种文本到视觉语义增强（T2VSE） 方案，通过从大型语言模型（LLM）中获取医学类别的关键特征，并将其编码为文本嵌入，进一步增强模型的语义理解能力。
跨掩码空间对齐策略：为了增强两个解码器输出之间的互补性，作者提出了跨掩码空间对齐策略（Cross-Mask Spatial Alignment）。该策略通过计算语义掩码和二值掩码之间的交并比（IoU），鼓励两个解码器的输出在空间上更加一致，从而提高分割精度。
统一的医学分割模型：作者提出的SEG-SAM模型不仅在二值医学分割任务上表现优异，还通过引入语义学习和文本知识，实现了统一的语义医学分割。

摘要

近年来，开发统一的医学图像分割模型引起了越来越多的关注，尤其是在Segment Anything Model (SAM)出现之后。SAM在自然领域展示了有前景的二值分割性能，然而将其迁移到医学领域仍然具有挑战性，因为医学图像通常具有显著的类别间重叠。为了解决这一问题，作者提出了语义引导的SAM (SEG-SAM)，这是一个统一的医学分割模型，通过结合语义医学知识来增强医学分割性能。首先，为了避免二值预测和语义预测之间的潜在冲突，作者引入了一个独立于SAM原始解码器的语义感知解码器，专门用于图像中提示对象的语义分割和未提示对象的分类。为了进一步增强模型的语义理解能力，作者从大型语言模型中获取医学类别的关键特征，并通过文本到视觉语义模块将其融入SEG-SAM中，自适应地将语言信息转化为视觉分割任务。最后，作者引入了跨掩码空间对齐策略，以鼓励SEG-SAM的两个解码器生成的掩码之间有更大的重叠，从而使两个预测都受益。大量实验表明，SEG-SAM在统一的二值医学分割任务中优于最先进的基于SAM的方法，在语义医学分割任务中优于特定任务的方法，展示了有前景的结果和更广泛的医学应用潜力。

3 方法

首先介绍作者的SEG-SAM用于统一的医学图像分割；最后，描述SEG-SAM的损失函数、训练和推理策略。

语义引导的SAM

提出的SEG-SAM框架保留了SAM的原始设计以保持其表示能力，同时引入了额外的语义学习。如图2所示，给定带有提示对象的图像，作者使用SAM的图像编码器提取视觉嵌入，并使用提示编码器将视觉提示编码为提示标记，其中是特征维度，是补丁大小，是点提示的数量（框可以看作两个角点），具体如下：

在获得和之后，作者保留了SAM的原始语义无关解码器，它利用可学习标记预测提示对象的二值掩码。为了进一步引入语义学习，作者提出了一个语义感知解码器用于语义预测。具体来说，作者在中初始化了一个面向分割的标记，以预测的语义掩码。此外，作者初始化了一组面向分类的标记，以捕获图像中未提示对象的类别特定信息，从而帮助的准确掩码预测。作者不分割未提示对象的掩码，而是专注于预测它们的类别，从而减少计算开销并避免与提示对象的分割潜在冲突。为了进一步增强模型的语义理解能力，作者从LLM中获取医学文本描述，并开发了文本到视觉语义增强方案，将细粒度的医学知识融入模型的提示标记中。总体过程可以具体如下：

接下来，作者详细介绍了提出的SEG-SAM的两个关键组件，即语义感知解码器和文本到视觉语义增强方案。

3.2.1 语义感知解码器

虽然视觉提示提供了分割特定对象的具体空间位置，但医学图像具有独特的挑战：对象之间的频繁类别重叠和模糊的空间边界可能导致模糊的二值掩码。为了解决这一问题，作者将显式语义学习引入SAM。然而，同时执行二值和语义预测可能会导致潜在冲突。为了克服这一问题，作者提出了一个语义感知解码器用于语义预测，而不是重用SAM的原始解码器。如图2所示，为提示对象生成语义掩码，并为其他未提示对象生成辅助语义类别预测，具体如下。

提示对象的语义掩码预测： 作者首先定义了地面真值语义掩码，以替换统一数据集中的原始二值掩码。具体来说，对于所有二值掩码，每个掩码都与一个唯一的语义类别相关联，使作者能够构建整体的语义掩码，即。接下来，作者在中初始化了一个可学习标记，即语义导向标记（SO-Token），以解码提示对象的语义信息。给定中的提示标记和中的视觉嵌入，利用注意力机制在SO-Token 、和之间进行特征交互，从而实现提示对象的语义掩码的预测。

未提示对象的语义分类： 直观上，除了提示对象外，作者还可以对未提示对象进行语义分割，以执行全图像语义分割。然而，作者观察到这可能会使模型的关注点从视觉提示对象转移到图像中的未提示对象，从而影响提示对象的梯度更新，更不用说这一过程中的不必要复杂性和计算开销。由于作者的主要目标是准确分割提示对象，作者简化了学习过程，只在中对那些未提示对象进行语义分类。这样，提示对象的语义分割任务成为主要任务，占据了学习的主要努力。具体来说，作者为未提示对象预测初始化个分类导向标记（CO-Tokens）。每个CO-Token用于独立的二值分类。利用并行的基于注意力的分支（具体如下）在视觉嵌入和CO-Tokens 之间建立特征交互。每个CO-Token附加一个线性层，负责预测未提示对象的某个类别的二值分类。随后，作者将分类结果从集成到SO-Token 中，以提供类别特定的先验知识。为此，作者对应用MLP，并通过逐元素加法将其与SO-Token 融合。

语义感知解码器结构： 给定中的提示标记和中的视觉嵌入，由两个基于注意力的分支组成，每个分支设计用于与不同的可学习标记建立交互。对于提示对象的语义掩码预测，作者首先将SO-Token 和提示标记连接，并使用自注意力层实现它们的交互。然后，作者应用双向交叉注意力层来精炼连接的标记和视觉嵌入，以生成语义掩码：

对于图像中未提示对象的语义分类，作者使用自注意力层和交叉注意力层来精炼CO-Tokens ，以预测分类结果：

3.2.2 文本到视觉语义增强

为了进一步增强模型的语义理解能力，作者将医学文本描述融入模型中，以帮助模型掌握细粒度的医学知识。作者的动机是让医学描述捕捉所有医学类别的关键特征。为此，作者利用大型语言模型（LLM）生成描述。作者构建了一个适用于所有对象类的通用文本模板，指导LLM专注于形状、纹理和位置信息等属性。请参阅补充材料中的模板。

一旦获得文本描述，作者开发了一种文本到视觉语义增强方案。具体来说，作者首先将文本描述编码为文本嵌入。基于此，作者初始化一个文本摘要标记，并将其与连接。作者在连接的上应用自注意力层以实现它们的交互，从而将文本信息传递给。接下来，给定中的视觉嵌入和中的提示标记，作者使用交叉注意力层进一步实现文本-视觉交互，其中文本嵌入用作查询，视觉嵌入用作键和值。此过程可以表示为：

在获得之后，作者通过MLP重新投影并将其附加到视觉提示标记中，形成增强的提示标记，以改进二值分割。注意，语义感知解码器已经具有地面真值语义标签，因此使用而不是，因为这在经验上是不必要的。

4 实验

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述