【SAM分割】医学图像分割任务中 SAM 的准确性

  看到一篇做 SAM 医学图像分割测试的小文章，早期测试文哈哈~

---

论文：Accuracy of Segment-Anything Model (SAM) in Medical Image Segmentation Tasks

---

SAM系列篇：
  【技术追踪】SAM（Segment Anything Model）代码解析与结构绘制之Image Encoder
  【技术追踪】SAM（Segment Anything Model）代码解析与结构绘制之Prompt Encoder
  【技术追踪】SAM（Segment Anything Model）代码解析与结构绘制之Mask Decoder
  【SAM综述】医学图像分割的分割一切模型：当前应用和未来方向
  【SAM导出】使用torch.onnx.export将pth格式导出为onnx格式（Pytorch代码详解）

---

0、摘要

  SAM 是图像分割的基础模型，它使用来自 1100 万张自然图像的超过 10 亿个 mask 进行训练。该模型可以通过使用各种提示（如 masks、boxes 和 points）来执行图像的 zero-shot 分割。

  本文探索了：
  （1）SAM 在 12 个公开医学图像分割数据集上的准确性，这些数据集涵盖了各种器官（脑、乳房、胸部、肺、皮肤、肝、肠、胰腺和前列腺）、图像模式（2D X光、组织学、内镜、3D MRI 和 CT）和健康状况（正常、病变）；

  （2）SAM 是否能为医学图像分割提供有前景的研究方向；

  本文发现，未经医学图像重新训练的 SAM 在准确性上不如在医学图像上训练的 U-Net 或其他深度学习模型。

  
Figure 1 | 本文方法概述：

1、方法

1.1、对比模型

  （1）纯 U-Net 模型：U-Net、U-Net++；
  （2）基于注意力的模型：Attention U-Net；
  （3）基于 Transformer 的模型：UCTransNet、Trans U-Net；

1.2、数据集

  （1）ACDC：MRI 心脏分割；
  （2）BraTS：MRI 多模态脑肿瘤分割（瘤周水肿和肿瘤核心）；
  （3）BUID：超声乳腺癌分割；
  （4）CIR：CT 肺结节分割；
  （5）Kvasir：内镜息肉分割；
  （6）Pancreas：CT 胰腺实质与肿块分割；
  （7）Prostate：MRI 前列腺分割；
  （8）ISIC：皮肤病变分割；
  （9）LA：MRI 左心房分割；
  （10）LiTS：CT 肝肿瘤分割；
  （11）Hippocampus：MRI 海马体分割；
  （12）Chest X-ray：肺分割；

1.3、实验设置

  （1）自动提示设置：SAM 一键分割模式；
  （2）single-point 提示设置：真实标签的中心点；
  （3）Bounding-box 提示设置：真实标签外扩 20 个像素的矩形框；
  （4）80% 训练，20% 测试，3D 图像转为 2D slices；

2、结果

  
Figure 2 | 在 12 个医学图像分割数据集上的 Dice：

  
Figure 3 | 不同提示下 U-Net 与 SAM 之间的 Dice 散点图：

---

  自然图像和医学图像还是有壁垒的！直接用 SAM 是不行滴~