CV | SAM在医学影像上的模型调研【20240223更新版】

本文链接：https://blog.csdn.net/weixin_44649780/article/details/136067775

本文主要是SAM（Segment Anything Model）在医学影像上的数据集，模型及评估方法调研【持续更新】~

1.开源数据集

2.算法模型

2023.04_SAM

论文：2018.08.05v_Segment Anything

论文地址：2304.02643.pdf (arxiv.org)

代码地址：facebookresearch/segment-anything: The repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model. (github.com)

基础模型，详情请参考【CV | Segment Anything论文详解及代码实现】

2023.04.02v1_SAM-Adapter

论文：SAM Fails to Segment Anything? – SAM-Adapter: Adapting SAM in Underperformed Scenes: Camouflage, Shadow, Medical Image Segmentation, and More

论文地址：2304.09148.pdf (arxiv.org)

两个 MLP 和一个激活函数组成的Adapter。解码器中不输入任何提示。

2023.04_Medical-SAM-Adapter

Adapting Segment Anything Model for Medical Image Segmentation

论文地址：2304.12620.pdf (arxiv.org)

论文代码：KidsWithTokens/Medical-SAM-Adapter: Adapting Segment Anything Model for Medical Image Segmentation (github.com)

对医疗图像分割任务的 SAM 架构进行微调，插入 Adapter 模块。

2023.06.01_DeSAM

论文：DeSAM: Decoupling Segment Anything Model for Generalizable Medical Image Segmentation

论文地址：2306.00499.pdf (arxiv.org)

修改 SAM 的mask decoder，以解耦mask生成和提示嵌入，同时利用预先训练的权重
提示相关的 IoU 模块(PRIM)，包括一个交叉注意变压器层和一个 IoU 预测头，丢弃掩码预测头，从交叉注意变压器层提取掩码嵌入
提示不变掩码模块(PIMM)，CNN结果输出mask

2023.06.10_AutoSAM

论文：AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt Encoder

通过重载提示编码器使 SAM 适应医学图像

论文地址：2306.06370.pdf (arxiv.org)

- 对同一输入图像进行操作的编码器替换了SAM的条件，在多个医学图像和视频基准上获得最先进的结果。

- 这种新编码器通过冻结的 SAM 提供的梯度进行训练，并提供轻量级的分割解决方案，还学习通过浅层反卷积网络将其解码为掩码。

2023.06.23_How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images

论文：How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images

论文地址：2306.13731.pdf (arxiv.org)

代码地址：xhu248/AutoSAM: finetuning SAM with non-promptable decoder on medical images (github.com)

基于SAM的基础上，如下图所示，对于SAM解码器，除了prompt Token 和图像嵌入之外，还有可训练的输出 Token ，包括用于生成Mask的Mask Token 和用于预测Mask置信度的IoU Token 。

Mask Token 包括前景Mask Token 和背景Mask Token 。输出 Token 与prompt Token 连接，作者将其命名为辅助嵌入。在双向注意力模块中，每一层都进行自注意力和交叉注意力。关于交叉注意力，它包括从 Token 到图像嵌入，以及从图像嵌入到 Token （作为密钥和值）。然后，通过2个转置的conv层对图像嵌入进行放大，并选择前景Mask Token 与放大的嵌入进行逐点乘积以获得Mask。

2023.07.17_MedSAM

论文：Segment Anything in Medical Images

论文地址：2304.12306.pdf (arxiv.org)

MedSAM 的目标是创建一种用于细分各种医疗图像的通用工具。为了使 SAM 适应医学图像分割，需要选择适当的用户 Prompt 和网络组件进行微调。SAM 的网络架构包含三个主要组件：图像编码器、提示编码器和掩码解码器。

MedSAM 选择微调掩码解码器组件。图像编码器基于 VIT，它在 SAM 中具有最大的计算开销。为了最大限度地降低计算成本，冻结了图像编码器。提示编码器对边界框的位置信息进行编码，可以从 SAM 中预先训练的边界框编码器中重复使用，因此也会冻结该组件。其余需要微调的部分是掩码解码器。

此外，预先计算了所有训练图像的图像嵌入，以避免重复计算每个提示的图像嵌入，这显著提高了训练效率。掩码解码器只需要生成一个掩码而不是三个掩码，因为在大多数情况下，边界框提示符可以清楚地指定预期的分割目标。

大规模医学图像分割数据集。使用基于边界框的提示。

2023.07.18v2_ $SAM^{Med}$

论文： $SAM^{Med}$ ：A medical image annotation framework based on large vision model

论文地址：2307.05617.pdf (arxiv.org)

提出了俩个子模型

$SAM^{assist}$ ：根据提示有效的提高下游医学分割细分任务的泛化能力。

$SAM^{auto}$ ：通过自动生成输入Prompt来加快标注过程。

2023.08.07_AdaptiveSAM

论文：AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene Segmentation

论文地址：2308.03726.pdf (arxiv.org)

使用Text信息，使用Text Affine补上调整SAM中文本没有医学信息的缺点，image encoder微调对偏置进行微调。

2023.08_Polyp-SAM++

论文：Polyp-SAM++: Can A Text Guided SAM Perform Better for Polyp Segmentation?

补充文本提示，使用grounded-DINO

2023.08.15_Self-Prompting Large Vision Models for Few-Shot Medical Image Segmentation

论文地址：2308.07624v1.pdf (arxiv.org)

利用简单的像素分类器自提示 SAM 模型，采取图像嵌入提供边界框和点

2023.08.17_SurgicalSAM

论文：SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation

论文地址：2308.08746.pdf (arxiv.org)

提出了一个轻量级的基于原型的类提示编码器，直接生成提示嵌入类原型，并消除了显式提示的使用
进一步提出了对比原型学习，利用对比损失来获得有区别的学习类原型

2023.08.31_SAM-Med2d

论文：SAM-Med2D

论文地址：2308.16184.pdf (arxiv.org)

论文代码：OpenGVLab/SAM-Med2D: Official implementation of SAM-Med2D (github.com)

对于 2D 数据集，仅检查像素值是否在 [0, 255] 范围内，并将所有处理后的图像以 PNG 格式保存以保持数据加载的一致性；

2023.09_SAMUS

论文：SAMUS: Adapting Segment Anything Model for Clinically-Friendly and Generalizable Ultrasound Image Segmentation

论文地址：2309.06824.pdf (arxiv.org)

论文代码：xianlin7/SAMUS (github.com)

在 SAM 的基础上，引入了一个并行的 CNN 分支
提出位置Adapter和特征Adapter，以适应 SAM 从自然到医学领域

2023.10.03_ Multi-Prompt Fine-Tuning of Foundation Models for Enhanced Medical Image Segmentation

论文：Multi-Prompt Fine-Tuning of Foundation Models for Enhanced Medical Image Segmentation

论文地址：2310.02381.pdf (arxiv.org)

2023.10.29v2_SAM-Med3d

论文：SAM-Med3D

论文地址：2310.15161.pdf (arxiv.org)

论文代码：uni-medical/SAM-Med3D: SAM-Med3D: An Efficient General-purpose Promptable Segmentation Model for 3D Volumetric Medical Image (github.com)

对于 3D 数据集，作者们将每个体积的强度值标准化到 [0, 255] 范围，并沿着 x、y、z 轴提取所有切片图像及其对应的掩码；

2023.11.13v2_MediViSTA-SAM

论文：MediViSTA-SAM: Zero-shot Medical Video Analysis with Spatio-temporal SAM Adaptation

论文地址：MediViSTA-SAM: Zero-shot Medical Video Analysis with Spatio-temporal SAM Adaptation (arxiv.org)

介绍了第一项关于在视频分割上调整SAM的研究，称为MediViSTA-SAM，这是一种专为医学视频分割而设计的新方法。
给定视频数据，MediViSTA 时空适配器通过跨帧注意力机制捕获长距离和短距离时间注意力，有效地约束了其将前一帧视频作为参考，同时也有效地考虑了空间信息。
通过使用 U 形编码器和改进的掩码解码器来处理不同大小的物体，从而实现了多尺度融合。

3.评估方法

dice 和 iou 都是衡量两个集合之间相似性的度量

3.1.IOU

IoU（Intersection-over-Union）即是预测样本和实际样本的交并比，表达式如下：

# Iou
def Iou(pred,true):
    intersection = pred * true          # 计算交集  pred ∩ true
    temp = pred + true                  # pred + true
    union = temp - intersection         # 计算并集：A ∪ B = A + B - A ∩ B
    smooth = 1e-8                       # 防止分母为 0
    iou_score = intersection.sum() / (union.sum() + smooth)
    return iou_score

intersection 为两个区域的交集，即两个区域的乘积
temp 为两个区域的和，（注：这里不是并集，因为没有减去相交的部分）
union 为两个区域的并集

MIoU

Mean IoU是在所有类别的IoU上取平均值。

3.2.DICE

对于分割过程中的评价标准主要采用Dice相似系数(Dice Similariy Coefficient,DSC),Dice系数是一种集合相似度度量指标,通常用于计算两个样本的相似度,值的范围 0−1 ,分割结果最好时值为 1 ,最差时值为 0

# Dice
def Dice(pred,true):
    intersection = pred * true          # 计算交集  pred ∩ true
    temp = pred + true                  # pred + true
    smooth = 1e-8                       # 防止分母为 0
    dice_score = 2*intersection.sum() / (temp.sum() + smooth)
    return dice_score

Q&A

【Q&A1】ct和x-ray的区别是什么?

CT（Computed Tomography）扫描和X射线（X-ray）是医学影像学中常用的两种成像技术，它们有一些区别，主要涉及到成像原理和应用领域：

成像原理：

X射线： X射线是一种电磁辐射，通过人体组织时，不同组织对X射线的吸收程度不同，从而形成影像。X射线成像主要是通过检测射线通过组织的衰减程度来生成影像。
CT扫描： CT扫描则是利用X射线进行成像，但其采用了旋转式的探测器和计算机算法，能够获取多个方向上的断层图像，进而重建出三维的图像。

图像分辨率：