医学影像SAM

下面整理了一些比较好的博客。

1. 医学影像SAM

由于sam在医学影像上表现不是特别好，在该类型数据集上就需要再训练。

1.1. MedSAM

MedSAM：提供了在医学数据集上的微调流程，具体可以参考 medsam视频教程。

1.2. SAM-Adapter

SAM-Adapter-PyTorch:采用adapter机制，主要加在image encoder模块，效果还是不错的。
该方法不仅适用于医学数据，也同样在隐蔽物等其他数据集上达到了不错的效果。

具体可以参考SAM-Adaptor项目链接。

结果对比

模型结构图

1.3. Medical-SAM-Adapter

Medical-SAM-Adapter：同上，也是采用了adapter机制。只不过插入adapter的模块稍有不同。

msa结构

1.4. sam-med2d

sam-med2d:主要贡献了一个医学数据集，包含460万图像和1970万个mask，包含10种医学数据模式、4种解剖结构+病变以及31个主要人体器官。
模型采用adapter机制，在encoder的vit中插入一个adapter layer。训练时微调point和box进行训练，目前只开放了推理代码。

来自：Segment Anything(sam)项目整理汇总[2023.9.2]

1.5. MS-SAM

MA-SAM:模态不可知的三维医学图像分割SAM自适应.

基本信息	内容
标题	MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation
作者	陈诚，苗居正，吴笃凡，杨志玲，kimseken，华江，钟奥晓，a，刘正良，a，孙立超，李翔，刘天明，衡凤安，李泉正，
单位	美国马萨诸塞州总医院和哈佛医学院高级医学计算与分析中心，美国波士顿02114;香港中文大学计算机科学与工程系，中国香港;利哈伊大学计算机科学与工程系，伯利恒，美国宾夕法尼亚州18015;哈佛大学约翰保尔森工程与应用科学学院，美国剑桥02138;美国佐治亚大学计算学院，雅典Ga 30602，美国
摘要	分割任意模型(SAM)是一般图像分割的基础模型，在许多自然图像分割任务中表现出令人印象深刻的零拍摄性能。然而，当应用于医学图像时，SAM的性能显着下降，主要是由于自然和医学图像域之间的巨大差异。为了有效地使SAM适应医学图像，在微调期间纳入关键的三维信息(即体积或时间知识)非常重要。同时，我们的目标是充分利用SAM在其原始2D骨干中的预训练权重。在本文中，我们引入了一个模态无关的SAM自适应框架，称为MA-SAM，它适用于各种体积和视频医疗数据。我们的方法基于参数有效的微调策略，仅更新一小部分权值增量，同时保留SAM的大部分预训练权值。通过在图像encoder的transformer块中注入一系列3D Adapter，我们的方法使预训练的2D骨干能够从输入数据中提取三维信息。通过使用10个公共数据集(包括CT、MRI和外科视频数据)，对我们的方法在四种医学图像分割任务中的有效性进行了全面评估。值得注意的是，在不使用任何提示的情况下，我们的方法始终优于各种最先进的3D方法，在CT多器官分割、MRI前列腺分割和手术场景分割方面的Dice分别超过nnU-Net 0.9%、2.6%和9.9%。我们的模型也显示出很强的泛化，并且在使用提示时擅长挑战肿瘤分割。我们的代码可在:https://github.com/cchen-cc/MA-SAM。
主要贡献	1.提出了一种参数高效的微调方法，使SAM适应体积和视频医疗数据; 2.SAM adapter 可以应用于各种医学成像模式，包括CT、MRI和手术视频数据，用于解剖、手术场景和肿瘤分割； 3. 我们验证了在医学图像上进行微调后，得到的模型具有出色的泛化能力，甚至比SOTA域泛化方法表现出更好的性能。 4. 通过进一步利用提示，我们的方法在挑战肿瘤分割任务中取得了令人印象深刻的结果，在Dice得分上超过nnU-Net 38.7%。