集智书童 | SAM2 在图像分割中是否优于 SAM ?

本文来源公众号“集智书童”，仅用于学术分享，侵权删，干货满满。

原文链接：SAM2 在图像分割中是否优于 SAM ?

任何部位分割模型（SAM）在自然图像的零样本提示可分割性方面表现出色。最近发布的任何部位分割模型2（SAM 2）声称在图像方面的性能优于SAM，同时将模型的能力扩展到视频分割。在一个零样本提示可分割性的医疗图像中评估最近模型的能力非常重要。在本研究中，作者对来自不同成像模式的多个数据集进行了广泛研究，以比较SAM和SAM 2之间的性能。

作者使用了两种提示策略：（i）在目标结构的核心附近使用单阳性提示，（ii）在目标结构内随机放置额外的阳性提示。

评估包括来自公开的MRI、CT和超声数据集的21种独特的器官-模态组合，包括腹部结构、心脏结构和胎儿头图像。基于2D图像的初步结果表明，尽管SAM 2在某些情况下可能表现得略好于SAM，但总体上在医学图像分割方面，SAM没有超过SAM。尤其是在CT和超声图像中，SAM 2的表现不如SAM。

对于MRI图像，SAM 2的表现与SAM相当或更好。与SAM类似，SAM 2在分割边界模糊的情况下，也容易受到过度分割问题的影响。

1 Description of Purpose

最近发布的Meta的Segment Anything Model（SAM）已经展示了在各种计算机视觉任务上令人印象深刻的互动式和即时的图像分割性能[1]。原始的SAM模型使用了包含1100万图像- Mask 对的大型训练数据集进行训练。这种广泛训练使其在未见过的数据上表现出高效、泛化的零样本性能。尽管SAM在自然图像上的性能非常出色，但对医学图像进行评估非常重要，因为医学图像中的对比度、纹理和形状与自然图像有显著差异。近期有一些研究致力于评估SAM在医学图像上的性能，用医学图像微调SAM，进行模态特定的微调，并吸收新的、多样化的提示策略来提高性能。

Meta最近发布了Segment Anything Model 2（SAM 2）[9]，这是一个更新版的SAM，可以执行 promptable 2D 图像分割和视频分割。这项工作专门比较了SAM和SAM 2，尤其是2D图像分割。尽管SAM 2的主要新特点是采用了视频分割，但它很重要要评估它是否比原始的SAM更适合2D医学图像分割。进行了多种点击提示策略的探索，包括积极和负面的提示。总共从三个不同的医学影像模态的八个数据集分割出了12个不同的器官/病理。

2 Methods

SAM Model

段落分割模型（SAM）架构包括三个主要组成部分：图像编码器、提示编码器和 Mask 解码器。图像编码器基于视觉Transformer（ViT）[10]架构。它从输入图像中提取高级特征，然后通过将这些特征划分为较小的patch并应用一系列transformer层来捕捉空间和语义信息。提示编码器设计为处理各种类型的用户输入，如点、框或文本，以引导分割过程。提示编码器处理提示并将其编码到与图像编码器提取的特征空间相匹配的特征空间中。Mask 解码器生成最后的分割预测。它将图像编码器中的特征与提示编码器中的特征结合生成最后的预测。Mask 解码器使用双向Transformer整合特征。它还包括一个IoU（交点与并集）头，预测分割 Mask 的质量。

SAM 2 Model

SAM 2架构的设计是为了扩展原始SAM的功能，通过在时间序列中支持视频分割和目标跟踪。与SAM不同，SAM 2专注于单个帧的分割，而SAM 2采用了几个新的组件来处理视频数据。这些包括记忆注意、记忆编码器和记忆库。记忆注意块使用多个注意层来集成过去的帧特征和预测，而记忆编码器则创建并存储这些记忆在内存库中，以便日后参考。这种对帧嵌入的条件的设置使SAM 2可以在视频序列中保持时间连贯性。另外，SAM 2的提示编码器和 Mask 解码器可以处理空间提示，并迭代地优化分割 Mask 。然而，对于单帧图像分割，SAM和SAM 2的行为相似，SAM 2利用与SAM相同的可提示 Mask 解码器来处理帧和提示嵌入，但没有添加与视频相关的额外的时间条件特征。

Different Prompting Strategies

在本文的所有分析中，都探索了各种提示点。它们以两种不同的方式应用：

• 在目标结构质心附近应用单个正向提示

• 在目标结构内随机放置额外的正向提示

3 Results

Datasets

在多个公开可用的MR（AMOS [11]，CHAOS [12]），CT（TotalSegmentatorV2 [13]，AMOS [11]，CHAOS [12]）和超声（CAMUS [14]，HC [15]，FH-PS-AOP [16]）数据集上，模型进行了评估。图1和图2展示了这些数据集中的各种器官的结果。

Quantitative Comparison between SAM vs SAM 2

图1显示了SAM和SAM 2在MRI、CT和超声波不同数据集上的定量比较。总体趋势显示SAM 2在2D医学图像分割方面的SAM性能没有提高。图2显示了SAM和SAM 2在提示数量增加时的一般Dice评分趋势。可以发现SAM 2在某些情况下可以超越SAM的表现，尤其是在高对比度模态如MRI图像中，但在CT和超声波中，性能通常低于SAM。对于CT和MR，分割的器官包括左肾、右肾、肝、膀胱、胆囊、脾、主动脉和胰腺。对于超声图像，胎头、左心房和左心室内膜都被分割。来自不同数据集的每个器官的Dice评分对应组合的平均值在图表中报告。

4 要呈现的新的突破性工作

根据作者的知识，这是第一次对SAM和SAM 2在各种医学影像数据集上的性能进行全面研究的。总体趋势显示SAM 2没有比SAM表现更好。在一些情况下，SAM 2相对于SAM的表现显著降低，尤其是对于对比度较小的成像模态如CT和超声波。

5 Conclusion

在这项工作中，作者进行了一项系统化的评估研究，以比较SAM和SAM 2的性能。在未来的研究中，作者将使用3D医学图像和生物成像的时间动作视频进行更深入的分析。

参考

[1].Is SAM 2 Better than SAM in Medical Image Segmentation?.

THE END !

文章结束，感谢阅读。您的点赞，收藏，评论是我继续更新的动力。大家有推荐的公众号可以评论区留言，共同学习，一起进步。