《MedSegDiff-V2: Diffusion based Medical Image Segmentation with Transformer》AAAI2024，CVPR2023

摘要

扩散概率模型（Diffusion Probabilistic Model， DPM）近年来在计算机视觉领域获得了广泛的应用，最近的研究进一步揭示了DPM在医学图像分析领域的效用，医学图像分割模型在各种任务中表现出的良好性能强调了这一点。尽管这些模型最初是由UNet架构支撑的，但存在通过集成视觉Transformer机制来提高其性能的潜在途径。然而，简单地组合这两个模型会导致性能不佳。为了有效地将这两种前沿技术集成到医学图像分割中，本文提出了一种新的基于transformer的扩散框架，称为medsegdiv - v2。在具有不同图像模态的20个医学图像分割任务上验证了其有效性。通过综合评估，所提出方法证明了比之前最先进的（SOTA）方法的优越性。

概述

拟解决的问题：MedSegDiff-V2旨在解决医学图像分割中的挑战，特别是在处理具有模糊边界的器官或病变时，如何提高分割的一致性和准确性。此外，该研究还旨在通过整合Transformer机制来增强基于UNet架构的扩散概率模型（DPM）的性能。

创新之处：

1. 首次将变换器集成到基于扩散的模型中：这是首次将Transformer机制集成到用于通用医学图像分割的基于扩散的模型中。
2. 锚定条件与不确定空间注意力（U-SA）：提出了锚定条件和U-SA机制来减少扩散过程中的方差，并提供更多的灵活性以进一步校准预测。
3. 语义条件与谱空间Transformer（SS-Former）：提出了语义条件和SS-Former来建模分割噪声和语义特征的交互。
4. 在多个图像模态的20个器官分割任务中实现SOTA性能。

方法

MedSegDiff-V2的整体流程如图1所示。为了介绍该过程，考虑扩散过程的单步t。噪声掩码xt首先输入到UNet中，称为扩散模型。扩散模型由通过另一个标准UNet从原始图像中提取的分割特征为条件，称为条件模