无监督医学图像翻译与对抗扩散模型| 文献速递-深度学习结合医疗影像疾病诊断与病灶分割

Title

题目

Unsupervised Medical Image Translation With Adversarial Diffusion Models

无监督医学图像翻译与对抗扩散模型

01

文献速递介绍

多模态成像对于全面评估人体解剖结构和功能至关重要[1]。通过各自模态捕获的互补组织信息，有助于提高诊断准确性并改善下游成像任务的性能。然而，由于经济和劳动成本的挑战，多模态协议的广泛应用面临困难。

医学图像翻译是一个强大的解决方案，涉及在已获得的源模态的指导下合成缺失的目标模态。考虑到跨模态之间组织信号的非线性变化，这种恢复是一个病态问题。

在这个关键时刻，基于学习的方法通过整合非线性数据驱动的先验来改善问题的条件，提供了性能的飞跃。

学习-based的图像翻译涉及训练网络模型来捕获给定源图像的目标条件分布的先验。近年来，由于它们在图像合成中的出色逼真性，生成对抗网络（GAN）模型已被广泛采用于翻译任务。

通过捕获关于目标分布的信息，鉴别器同时指导生成器从源图像到目标图像的一次性映射，基于这种对抗机制，GAN在多种翻译任务中报告了最新的结果，包括跨MR扫描仪的合成，多对比MR合成，以及跨模态合成。

虽然强大，GAN模型通过生成器和鉴别器的相互作用间接表征目标模态的分布，而不评估可能性。这种隐式表征可能容易受到学习偏差的影响，包括早期收敛和模式崩溃。此外，GAN模型通常采用快速的一次性采样过程，没有中间步骤，从根本上限制了网络执行的映射的可靠性。反过来，这些问题可能限制合成图像的质量和多样性。

作为一个有希望的替代方法，最近的计算机视觉研究采用基于明确可能性表征和逐渐采样过程的扩散模型，以改善无条件生成建模任务中的样本保真度。然而，扩散方法在医学图像翻译中的潜力仍然大部分未被探索，部分原因是图像采样的计算负担和常规扩散模型非配对训练的困难。

Abstract

摘要

Imputation of missing images via source-to**target modality translation can improve diversity in medicalimaging protocols. A pervasive approach for synthesizingtarget images involves one-shot mapping through generative adversarial networks (GAN). Yet, GAN models thatimplicitly characterize the image distribution can suffer fromlimited sample fidelity. Here, we propose a novel methodbased on adversarial diffusion modeling, SynDiff, forimproved performance in medical image translation. To capture a direct correlate of the image distribution, SynDiffleverages a conditional diffusion process that progressivelymaps noise and source images onto the target image. Forfast and accurate image sampling during inference, largediffusion steps are taken with adversarial projections in thereverse diffusion direction. To enable training on unpaireddatasets, a cycle-consistent architecture is devised withcoupled diffusive and non-diffusive modules that bilaterallytranslate between two modalities. Extensive assessmentsare reported on the utility of SynDiff against competingGAN and diffusion models in multi-contrast MRI and MRICT translation. Our demonstrations indicate that SynDiffoffers quantitatively and qualitatively superior performanceagainst competing baselines.

通过源到目标模态转换来填补缺失图像可以改善医学成像协议的多样性。合成目标图像的普遍方法涉及通过生成对抗网络（GAN）进行一次性映射。然而，隐式表征图像分布的GAN模型可能存在样本保真度有限的问题。在这里，我们提出了一种基于对抗扩散建模的新方法SynDiff，用于改善医学图像翻译的性能。为了捕捉图像分布的直接相关性，SynDiff利用逐步映射噪声和源图像到目标图像的条件扩散过程。在推断过程中，为了快速准确地进行图像采样，采用了大的扩散步骤和反向扩散方向的对抗投影。为了在非配对数据集上进行训练，设计了一个循环一致的架构，其中包括耦合的扩散和非扩散模块，双向地在两种模态之间进行翻译。在多对比MRI和MRI CT转换中，我们对SynDiff与竞争的GAN和扩散模型进行了广泛评估。我们的演示表明，SynDiff在量化和定性性能上均优于竞争基准。

Method

方法

We demonstrated SynDiff on two multi-contrast brain MRIdatasets (IXI,1 BRATS [61]), and a multi-modal pelvic MRICT dataset. In each dataset, a three-way split wasperformed to create training, validation and test sets with nosubject overlap. While all unsupervised medical image translation models were trained on unpaired images, performanceassessments necessitate the presence of paired and registeredsource-target volumes. Thus