[TMI2019-10]Image Synthesis in Multi-Contrast MRI With Conditional Generative Adversarial Networks

Image Synthesis in Multi-Contrast MRI With Conditional Generative Adversarial Networks

获取具有多个不同对比度的相同解剖结构的图像会增加MR检查中可用的诊断信息的多样性。但是，扫描时间限制可能会阻止某些对比度的获取，并且某些对比度可能会被噪声和伪影破坏。在这种情况下，合成未获得或损坏的对比图可以提高诊断效用。对于多对比度合成，当前方法通过非线性回归或确定性神经网络学习源图像和目标图像之间的非线性强度转换。这些方法继而可能遭受合成图像中结构细节的损失。在本文中，我们提出了一种基于条件生成对抗网络的多对比度MRI合成新方法。所提出的方法通过对抗性损失来保留中高频细节，并且通过针对已配准的多对比度图像的逐像素和感知损失以及针对未配准的图像的循环一致性损失来提供增强的合成性能。来自相邻横截面的信息被用来进一步提高合成质量。

综述

量身定制的MRI脉冲序列可在对同一解剖结构成像时产生明显的对比。例如，T1加权的大脑图像清楚地描绘了灰色和白色物质组织，而T2加权的图像描绘了皮质组织中的流体。反过来，在同一对象中获取的多对比度图像会增加临床和研究中可获得的诊断信息。但是，考虑到与长时间检查和患者不合作的费用有关的考虑因素，尤其是在儿科和老年人身上，可能无法收集全部对比数据。在这种情况下，可能最好选择扫描时间相对较短的对比度。即使这样，所获取的对比度的子集也可能被过多的噪声或伪影所破坏，从而阻止了随后的诊断使用。而且，序列研究通常显示出显着的异质性，即成像方案以及他们获得的特定对比。因此，从其他成功获取的对比度中合成缺失或损坏的对比度的能力具有潜在的价值，可通过增加诊断相关图像的可用性以及改进诸如配准和分割之类的分析任务来增强多对比度MRI。

医学图像的跨域合成近来已在医学成像中获得普及。 给定对象在X（源域）中的图像x，目的是准确估计Y（目标域）中同一对象y的图像。 两种主要的综合方法是基于配准的方法和基于强度变换的方法。在这里，我们提出了一种基于生成对抗网络（GAN）架构的多对比度MRI图像合成的新方法。最近已经证明了对抗损失功能可用于各种医学成像应用，并且可以可靠地捕获高频纹理信息。

方法

生成对抗网络是由两个子网组成的神经网络架构。 G，一个生成器，D，一个鉴别器。 G 学习了从潜在变量 z（通常是随机噪声）到目标域中图像y的映射，D 学习了将生成的图像 G（z）与真实图像y区别开。 在训练 GAN 的过程中，同时学习 G 和 D，其中 G 旨在生成与真实图像无法区分的图像，而 D 则旨在区分生成的图像和真实图像。为此，可以使用以下对抗损失函数（LGAN）：LGAN(G, D) = Ey[log D(y)]+Ez[log(1−D(G(z)))]。为了进一步稳定训练过程，可以用平方损失代替对抗损失的对数似然损失：LGAN(D,G) =−Ey[(D(y)−1)²]− Ez[D(G(z))²]

计算机视觉的最新研究表明，GAN 在图像到图像的转换任务中非常有效。 图像到图像的转换涉及相同基础视觉场景的不同表示之间的转换。 这些转换可用于在各个域之间转换图像，例如，从图像生成语义分割图，从草图生成彩色图像或从航拍照片生成地图。 传统的 GAN 学习从噪声中生成图像样本。 但是，在图像到图像的转换中，合成图像对源图像具有统计依赖性。为了更好地捕获这种依赖性，可以采用条件 GAN 来接收源图像作为附加输入。然后可以基于以下对抗损失函数来训练所得的网络：LcondGAN(D,G) =−Ex,y[(D(x, y)−1)²] −Ex,z[D(x,G(x,z))²], 其中 x 为源图像

对于空间上配准多对比度图像（pGAN）和未配准多对比度图像（cGAN）时，提供了两种实现方式。对于第一种情况，我们用合成和真实图像之间的像素损失和感知损失训练 pGAN（图1）。对于第二种情况，我们在用循环损失代替逐像素损失后训练 cGAN，该循环损失增强了从合成目标图像中重建源图像的能力（图2）。

pGAN 方法基于带有生成器 G、预训练的 VGG16 网络 V 和鉴别器 D 的条件对抗网络。给定源对比中的输入图像（例如 T1 加权），G 学习生成与目标对比相同解剖结构的图像（ 例如 T2 加权）。 同时，D 学会区分合成的（例如，T1-G（T1）和真实的（例如，T1-T2）对多对比度图像。两个子网都同时训练，其中 G 的目的是最小化逐像素损失和感知损失函数，D 试图最大化对抗损失函数。

cGAN 方法基于具有两个生成器（GT1，GT2）和两个鉴别器（DT1，DT2）的条件对抗网络。 给定 T1 加权图像后，GT2 会学习生成同一解剖结构的相应 T2 加权图像，这是与其他解剖结构的真实 T2 加权图像无法区分的，而DT2则学会区分合成图像和真实 T2 加权图像。 GT1 学会生成解剖图的真实的 T1 加权图像，从而获得 T2 加权图像，而 DT1 学会区分合成的T1 图像和真实的 T1 加权图像。 由于鉴别器不比较相同解剖结构的目标图像，因此不能使用逐像素损失。 相反，利用循环一致性损失来确保训练有素的生成器能够从生成的目标图像中可靠地恢复源图像。

总结

本文主要用 GAN 进行 MRI 的 T1 和 T2 序列的相互转化生成。