MEDICAL SAM 2: SEGMENT MEDICAL IMAGES AS VIDEO VIA SEGMENT ANYTHING MODEL 2

Jiayuan ZhuUniversity of Oxfordjiayuan.zhu@ieee.orgYunli QiUniversity of OxfordJunde WuUniversity of Oxfordjundewu@ieee.org

原文链接:https://arxiv.org/pdf/2408.00874

代码链接：https://github.com/MedicineToken/Medical-SAM2

文章的主要贡献如下：

1. 我们是第一个引入基于 SAM-2 的医学图像分割模型 MedSAM-2 的人。

2. 我们采用一种新颖的医学图像视频理念，它启发我们设计了一个独特的管道，解锁 MedSAM-2 中的一次性分割能力，这是以前的方法几乎无法实现的特征。

3.我们开发了独特的模块和管道，结合置信记忆库和加权拾取，在技术上促进了这种能力。

4. 我们在 15 个不同的基准测试中评估 MedSAM-2，包括 26 个不同的任务，其中模型实现了卓越的性能。

本文提到的MEDSAM2模型结构：

参考SAM2模型结构：

在本文中，理解下来的提到的主要贡献文本除了原本3D数据可以直接使用SAM2的模型直接实现之外，对于没有明确时序关系的2D数据进行了模型结构的修改以及调整，实现了ONE-PROMPT SEGMENTATION。

针对于2D医学图像的主要改进为：

1.增加了置信记忆库：

与 SAM 2 中使用的时间优先输出队列不同，我们引入了一个“置信度优先”存储库来存储模型的模板。具体来说，在推理阶段，MedSAM-2 与提示模板一起存储了它对记忆库内第一出队列中最有信心的结果。置信度是根据模型预测的概率计算的。这种方法确保内存库中的模板是模型识别的最准确样本，从而最大限度地减少噪声模板的影响。我们还在将图像添加到银行时实现了图像多样性约束，确保内存包含各种各样的图像以更好地匹配传入的输入图像;这种多样性是通过图像嵌入的相似性来评估的。

2.输入图像嵌入与记忆库中的信息合并时，通过加权拾取

采用加权拾取策略，为与输入图像更相似的图像分配更高的权重，以促进更容易的传播。在训练阶段，我们使用校准头Ji等人(2021)来确保模型预测更准确的分割，置信度较高，分割精度较低。这种校准将模型的置信度与其预测的准确性对齐，从而提高了置信度记忆库的有效性。

对3D病灶图像分割模型效果：