Medical Image Analysis：医学图像分割最新进展综述

关注公众号，发现CV技术之美

医学图像分割（Medical Imaging Segmentation，MIS）在计算机辅助诊断、治疗规划和疾病监测等领域具有关键作用，但由于数据获取受限、标注复杂、目标结构多样以及模态差异等因素，要得到准确的分割结果依然困难。

本文分享医学图像分割领域的最新综述：Recent Advances in Medical Imaging Segmentation: A Survey，作者来自法国 Univerity of Polytechnique Hauts-de-France 和 Sorbonne University Abu Dhabi ，原文发表在《Medical Image Analysis》期刊。

• 论文地址：https://arxiv.org/abs/2505.09274

• 相关仓库：https://github.com/faresbougourzi/Awesome-DL-for-Medical-Imaging-Segmentation

一、医学图像分割的挑战

• 数据获取困难：隐私法规限制共享；像素级标注耗时费力，需多位专家反复校验，标注要求极高。

• 类别不平衡与噪声干扰：少数类（如病灶）出现频率低，图像常含低对比度、弱边界和成像伪影。

• 泛化能力弱：不同设备、模态和患者间存在“域偏移”，模型迁移性差。

• 计算资源需求高：深度学习模型通常庞大，对数据和算力要求高，不利于临床部署。

医学影响分割模态多样性与特性变化示例

本文讨论的MIS的现实挑战

二、生成式AI在医学图像分割中的应用

生成模型（如 GAN、扩散模型）通过生成逼真样本来增强数据集、提升模型泛化能力，主要应用包括：

1. 生成对抗网络（GAN）

GAN 由生成器和判别器组成，核心思想是“以假乱真”地生成图像：

• CycleGAN：可实现CT-MRI之间的图像翻译，结合形状一致性损失，有助于跨模态学习。

• 对抗式训练分割网络：如 DAN 框架，引入判别器协助利用未标注数据。

GANs

2. 扩散模型（DDPM）

通过加噪再去噪的过程生成图像：

• MedSegDiff：采用双编码器结构，引入傅里叶降噪和注意力机制，生成更精确的分割掩码。

• 混合模型：将GAN与DDPM结合，提升对复杂结构（如血管）的分割性能。

扩散模型的一般过程

生成模型在MIS中的应用

生成模型在MIS应用中的SOTA

生成式AI应用总结：

• 用于数据增强、风格迁移、无监督/自监督学习。

• 已在多个任务中与监督方法性能相当，但仍需标准化评测以全面比较不同方法效果。

三、少样本学习（FSS）在医学图像中的应用

少样本分割（Few-Shot Segmentation）致力于用极少量标注样本识别新类别，具有极大现实意义：

原理简介：

• 使用支持集（含k张已标注图像）指导模型对查询图像进行新类别分割。

• 采用任务驱动训练（episodic training），训练与测试类别互不重叠。

应用案例：

• Visceral数据集：早期工作通过一张支持图像完成肝、脾、肾等器官分割。

• St1/St2-Abd-CT/MRI等设置：多个工作采用统一评估协议，便于比较。

• 跨机构学习（如Prostate-MRI）：增强了模型在不同设备和数据源间的泛化能力。

主流方法：

• 原型网络（Prototypical Network）：提取支持集原型向量，对查询图像进行相似度匹配。

原型网络

• 条件网络（Conditional Network）：根据支持图像生成参数，调节查询图像分割过程。

条件网络

• 混合方法：结合空间引导、注意力机制、解剖先验等辅助模块，提升性能。

MIS中的小样本学习总结

持续挑战：

• 分割边界模糊、背景结构复杂；

• 目前多集中于少数类器官，任务种类单一；

• 各方法评测协议略有差异，影响公平比较。

四、基础模型（SAM）在医学图像分割中的适配与挑战

基础模型（Foundation Models）具备“即插即用”的潜力。代表性模型 SAM（Segment Anything Model） 是由 Meta 推出的通用分割模型，可根据点、框或文本提示输出掩码。

SAM架构：

• 图像编码器：基于ViT，提取全图特征；

• 提示编码器：处理用户输入（点、框、掩码或文本）；

• 掩码解码器：融合图像与提示，生成最终分割掩码。

SAM的一般过程

MIS 中的基础模型总结

医学图像中的应用方式：

• 零样本评估：直接测试原始SAM性能，发现对结构明确的目标表现较好。

• 参数高效微调（PEFT）：冻结主干，仅微调部分模块以适配医学任务；

• 自动提示生成：利用检测或特征相似性方法自动生成提示，减少人工干预；

• 3D拓展版本：适应医学图像的体积特性，提升分割效果。

存在问题：

• 对低对比度、边界模糊的结构表现欠佳；

• 未能充分利用交互式提示的优势；

• 仍需优化计算效率以适应临床场景。

五、通用模型（Universal Models）趋势

通用模型追求“一模多用”，不再为每类结构训练一个专属模型，而是通过提示、示例或上下文信息完成跨模态/任务分割。

通用模型的总体架构

应用方向：

• 上下文学习：借鉴NLP中GPT方式，通过示例推理新任务；

• 多模态融合：将图像与文本信息联合建模，提升跨模态理解能力；

• 少样本适应能力强：可快速适应新结构、模态，减少重训需求。

六、技术瓶颈与未来方向

尽管取得多项进展，医学图像分割仍面临若干待解难题：

• 缺乏标准化评估体系：不同研究使用不同数据、协议，不利于方法横向比较；

• 数据隐私问题突出：共享困难、标注稀缺，需借助合成数据、联邦学习等新技术；

• 人机协作不足：未来模型需支持更流畅的交互方式，实现医生辅助与主动学习；

• 临床部署难度高：模型复杂、对资源依赖大，亟需轻量、高效、可解释的部署方案。

结语

随着生成式AI、少样本学习、基础模型与通用模型等方向的不断演进，医学图像分割正逐步向着高精度、低依赖、高泛化的目标迈进。未来，需要在标准化评估、跨域适应、模型交互与临床落地等维度持续发力，推动图像分割技术从实验室走向真实医疗场景。

最新 AI 进展报道
请联系：amos@52cv.net

END

欢迎加入「医学影像」交流群👇备注：Med