好出创新点的方向：SAM做医学图像分割！轻松登Nature！

深度之眼

于 2024-08-27 18:42:38 发布

阅读量1.2k

点赞数 7

分类专栏：人工智能干货深度学习干货文章标签：计算机视觉人工智能 SAM

本文链接：https://blog.csdn.net/weixin_42645636/article/details/141609949

版权

深度学习干货同时被 2 个专栏收录

551 篇文章 232 订阅

订阅专栏

人工智能干货

524 篇文章 31 订阅

订阅专栏

继MedSAM登上Nature后，牛津大学也最新提出了MedSAM-2，不但分割一切医学图像，还能分割视频！准确度提升一个level，直接刷新医学图像分割SOTA榜！

这种惊人的医学图像分割效果都得益于SAM模型（尤其是升级后的SAM 2）的诸多优势，不仅拥有出色的泛化能力，还可以实时进行图像和视频内容的对象分割，大幅提升了处理速度。因此对比传统方法，这种具有高度自动化和准确性的方法是医疗图像领域未来的研究趋势。

目前SAM做医学图像分割还处于初步阶段，这也意味着创新潜力和空间都很大，如果大家有发文需求可以考虑，我这边也整理好了15篇最新、全开源的高质量论文给大家参考，同时也附上了90多个医学数据集（医学缺数据集我懂），希望各位的论文能尽快中稿。

论文原文+开源代码需要的同学看文末

SAM 2

Medical SAM 2: Segment medical images as video via Segment Anything Model 2

方法：本文介绍了一种先进的分割模型MedSAM-2，它利用SAM2框架解决了2D和3D医学图像分割任务。通过将医学图像视为视频，MedSAM-2不仅适用于3D医学图像，还可以实现新的一次提示分割功能。实验证明MedSAM-2在性能上不仅超越了现有模型，而且在各种医学图像分割任务中展现出更强大的泛化能力。

创新点：

MedSAM-2可应用于2D和3D医学图像分割任务，将医学图像视为视频，通过设计独特的管道和模块提高3D医学图像分割性能，并实现了独特的一次提示分割能力。
MedSAM-2的一次提示分割能力是一个新的突破。用户只需对一个特定图像提供提示，模型就可以自动对所有后续图像中相同类型的物体进行分割，而不考虑图像之间的时间关系。

SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation

方法：论文提出了一种简单而有效的用于自然和医学领域的多功能分割的SAM2-UNet框架。SAM2-UNet采用了经典的U型编码器-解码器架构，具有易于使用和高可扩展性的特点。通过在编码器中插入适配器，SAM2-UNet实现了参数高效的微调，即使在内存有限的设备上也能进行训练。

创新点：

提出了SAM2-UNet框架，用于图像分割任务。
采用SAM2的Hiera骨干作为编码器，使用经典的U型设计作为解码器。
SAM2-UNet在多个任务领域，如伪装目标检测、显著性目标检测、海洋动物分割、镜像检测和息肉分割等，表现出卓越的性能。

SAM

Segment Anything in Medical Images

方法：论文构建一个单一基础模型来管理多个分割任务的可行性，并介绍了MedSAM作为医学图像分割中的首个基础模型。通过人工注释和外部验证等实验证明了MedSAM的优势和广泛适用性。

创新点：

通用医学图像分割：它是首个设计用于多种医学图像分割任务的通用模型。
超越现有技术：在多个验证任务中，MedSAM的性能超越了现有的最先进模型。
精确的生物标记物分析：MedSAM能够准确量化肿瘤负担，对临床诊断和治疗规划具有重要意义。

SAM-FNet: SAM-Guided Fusion Network for Laryngo-Pharyngeal Tumor Detection

方法：SAM-FNet是一个双分支网络，利用了SAM强大的目标分割能力来准确识别和分割喉咽部内窥镜图像中的病变区域。SAM-FNet在内部数据集FAHSYSU上实现了92.14%的准确率，在外部数据集SAHSYSU上实现了92.29%的准确率，超越了现有的最先进方法，展示了其在喉咽部肿瘤检测任务中的卓越性能。