医学图像分割是临床实践中的关键组成部分,有助于准确的诊断、治疗规划和疾病监测。然而,现有的方法通常针对特定的成像模态或疾病类型,缺乏在医学图像分割任务的多样光谱中的泛化能力。在这里,我们介绍了MedSAM,这是一个基础模型,旨在通过实现通用医学图像分割来弥合这一差距。该模型是在一个包含1,570,263个图像-掩膜对的大规模医学图像数据集上开发的,涵盖了10种成像模态和30多种癌症类型。我们对86个内部验证任务和60个外部验证任务进行了全面评估,表明其准确性和鲁棒性优于按模态专业化的专业模型。通过在广泛的任务范围内提供准确且高效的分割,MedSAM具有加速诊断工具演进和个性化治疗计划的巨大潜力。
图1 | MedSAM在一个大规模数据集上进行训练,能够处理多样化的分割任务。该数据集涵盖了各种解剖结构、病理状况和医学成像模态。品红色轮廓和掩膜叠加分别表示专业人员的注释和MedSAM的分割结果。
图2 | 数据集中的成像模态分布和网络架构概览。a 各模态中的医学图像-掩膜对数量。b MedSAM是一种可提示的分割方法,用户可以使用边界框指定分割目标。源数据以源数据文件的形式提供。
图3 | 在内部验证集上的定量和定性评估结果。a 根据中位数Dice相似系数(DSC)分数,对86个内部验证任务的性能分布。箱线中心线表示中值,箱子的底部和顶部界限分别勾勒出25th和75th百分位数。选择髭线以显示1.5倍四分位距。上三角表示最小值,下三角表示最大值。b 展示86个内部验证任务性能对应关系的领奖台图。上半部分:每个彩色点表示在一个任务上使用相应方法实现的中位数DSC。相同任务的点通过一条线连接。下半部分:柱状图表示每种方法实现的排名频率。MedSAM在大多数任务上排名第一。c 在内部验证集上的可视化分割示例。四个示例分别是计算机断层扫描(CT)中的肝癌,脑癌,乳腺癌和息肉,(磁共振成像)MRI,超声和内窥镜图像。蓝色:边界框提示;黄色:分割结果。品红色:专业人员的注释。源数据以源数据文件的形式提供。
图4 | 在外部验证集上的定量和定性评估结果。a 根据中位数Dice相似系数(DSC)分数,对60个外部验证任务的性能分布。箱线中心线表示中值,箱子的底部和顶部界限分别勾勒出25th和75th百分位数。选择髭线以显示1.5倍四分位距。上三角表示最小值,下三角表示最大值。b 展示60个外部验证任务性能对应关系的领奖台图。上半部分:每个彩色点表示在一个任务上使用相应方法实现的中位数DSC。相同任务的点通过一条线连接。下半部分:柱状图表示每种方法实现的排名频率。MedSAM在大多数任务上排名第一。c 在外部验证集上的可视化分割示例。四个示例分别是淋巴结,宫颈癌,胎头和息肉,CT,MR,超声和内窥镜图像。源数据以源数据文件的形式提供。