GAN在医学图像上的应用

最初，GAN在被提出时，是一个无监督（无条件）的生成框架：例如在图像合成中，将随机噪声映射到逼真的目标图像。

后来CGAN即条件GAN，输入加入了标签（或者图像特征）等先验信息而不是仅靠噪声来生成，GAN此时可视为有监督（条件）的生成框架。

两种框架已经以各种方式、用于合成某些类型的医学图像。

无条件GAN的图像生成

最近在使用GAN的无监督医学图像生成领域中出现了大量工作，这可以解决诸如数据稀缺和类不平衡之类的问题（Frid-Adar，2018），并有助于了解数据分布的性质及其潜在结构。

现有的工作表明，DCGAN可用于合成逼真的前列腺病变斑块（Kitchen和Seah，2017年），视网膜图像（Schlegl，2017）或肺癌结节（Chuquicusma，2018）。合成的肺癌结节和真实的相比，甚至对放射科医生而言，都难以区分。

Frid-Adar（2018）也使用DCGAN合成肝脏CT不同类别的病变斑块：对于每个类别，即囊肿，转移灶和血管瘤，训练独立的生成模型。出于训练数据集太小，他们使用大量增强的数据来训练GAN。作者证明了除了数据增强外，GAN的合成样本还能改善CNN分类器。

Bermudez（2018）也显示DCGAN也能够生成相当高分辨率的MR数据，甚至只需要少量样品即可。在训练了1500个epoch之后，作者的实验获得了很棒的生成效果（人眼无法判断真假图像）。

Baur （2018b）比较了DCGAN，LAPGAN对皮肤病变图像合成的影响。由于训练数据方差很大，因此样本数量很少不足以训练出可靠的DCGAN。但是，级联式的LAPGAN和它的变体变现很好，合成样品有也成功地用于训练皮肤病变分类器。Baur（2018a）采用渐进式PGAN（Karras 2017）合成皮肤病变的高分辨率图像，效果极佳，连专业的皮肤科医生都无法地分辨是不是合成的。

条件GAN的图像生成

1. 由MR图像生成CT

许多临床环境中要获取CT图像，但CT成像使患者处于细胞损伤和癌症的放射线风险中。这促使我们尝试通过MR合成CT图像。Nie（2017）利用级联的3D全卷积网络从相应的MR图像合成CT图像。为提高合成CT图像的真实性，除对抗性训练外，他们还通过逐像素重建损失和图像梯度损失训练模型。Nie（2017）要求使用CT和MR图像一一对应的数据集进行训练。

Wolterink（2017a）用cycleGAN将2D MR图像转换为CT图像，而无需匹配的图像对训练。而且由于成对训练数据集并不是完美的匹配的，他们的训练不受此影响，甚至带来了更好的结果。Zhao（2018a）的Deep-supGAN将头部的3D MR数据映射到其CT图像，以促进颅颌面骨结构的分割。为获得更好的转换结果，他们提出了“deep-supervision discriminator（深度监督鉴别器）”，类似于“perceptual loss”，利用预训练的VGG16模型提取的特征表示来区分真实和合成的CT图像和提供梯度更新给生成器。

2.  由CT图像生成MR

与（Wolterink，2017a）类似，Chartsias（2017）将cycleGANs用于未配对的图像到图像转换，从“心脏CT切片和分割图像”生成“心脏MR图像和分割mask”。作者表明，当使用合成数据对模型进行额外训练时，分割模型的性能可提高16％；使用合成数据训练的模型，与用真实数据训练的模型相比，仅差5％。

Cohen（2018）指出，在图像到图像转换时难以保留肿瘤/病变部分的特征。为此，Jiang（2018）提出了一种针对cycleGAN的“肿瘤感知”损失函数，以更好地从CT图像合成MR图像。

3. 生成Retinal Image 视网膜图像

Costa(2017a)基于Pix2Pix稍加修改，从vessel tree二值图像生成高分辨率eye fundus图像。

在后续工作中，Costa (2017b）进一步介绍了一种对抗性自动编码器（AAE），它经过训练可将血管树vessel tree图像压缩为多元正态分布，并可以连续重建它们。所得模型通过从多元正态分布中采样来合成任意高分辨率vessel tree图像。合成的vessel tree图像又可以输入到图像到图像的转换模型中，从而形成用于高分辨率视网膜图像合成的端到端框架。

类似地，Guibas (2017)提出了一种两阶段方法，包括经过训练可从噪声中合成vessel tree图像的GAN和Pix2Pix网络，以生成现实的高分辨率血管分割图像和相应的eye fundus图。作者发现使用实际图像训练的U-Net进行分割，和仅用合成样本相比，后者稍差而已。

4. 从CT图像合成PET图像

PET图像经常用于肿瘤学的诊断和分期，PET和解剖CT图像的组合采集是临床常规操作中的标准程序。但是PET设备昂贵并且涉及放射性。因此，医学影像分析界一直致力于直接从CT数据合成PET图像。

Ben-Cohen（2017）用条件GAN从CT数据合成肝脏PET图像，但其性能在“underrepresented”的肿瘤区域中表现较差。相比之下，FCN网络能够合成肿瘤，但通常会产生模糊的图像。通过混合来自条件GAN和FCN的相应合成PET图像，它们可以实现很高的肿瘤检测性能。

同样，Bi(2017)从成对的CT图像和二进制标签图合成高分辨率的PET图像。作者强调添加标签label图会带来全局更真实的合成效果，并在合成数据上训练的肿瘤检测模型验证了他们的合成PET图像，获得了与在真实数据上训练的模型媲美的结果。他们认为当标记数据稀缺时，合成数据是有益的。

5. 从 MRI图像合成PET图像

测量人脑PET图像中的髓磷脂含量对于监测疾病进展、了解生理病理学和评估多发性硬化症（MS）的治疗非常重要。但是用于MS的PET成像既昂贵又需要注射放射性示踪剂。Wei(2018)用两个条件GAN的级联，基于3D U-Net的生成器和3D CNN的鉴别器，从MR合成PET图像。作者认为，单cGAN会产生模糊的图像。将综合任务分解为更小更稳定的子问题可以改善结果。

6. 生成超声图像

超声图像合成模拟。如论文《Freehand Ultrasound Image Simulation with Spatially-Conditioned Generative Adversarial Networks》、《SIMULATING PATHO-REALISTIC ULTRASOUND IMAGES USING DEEP GENERATIVE NETWORKS WITH ADVERSARIAL LEARNING》

7. 生成X射线图像

Mahapatra（2018）训练cGAN结合扰动的分割图进行胸部X射线合成，结合贝叶斯神经网络进行主动学习。

8. 染色归一化

由于制片染色流程以及病理扫描仪的不同，数字病理图像的色彩存在非常显著的差异，这会影响CAD系统。Cho (2017)指出，肿瘤分类器不仅在具有不同染色的数据之间泛化不佳，而且现有的染色归一化方法无法保留重要的图像特征。为此，他们提出了一种“feature-preserving”的cGAN用于染色风格转移：先将组织病理学图像映射到规范的灰度表示，再用cGAN将这些灰度图像转换为具有所需染色的RGB图像。

Bentaieb和Hamarneh（2018）尝试通过同时训练条件GAN和特定任务网络（分割或分类模型）来解决染色问题。生成器，鉴别器和特定任务网络的联合优化，可以驱动生成器生成具有为特定任务模型保留相关特征的图像。

前面提到的方法依赖于成对的训练数据（从源到目标染色），这样的数据集通常很难获得，并且需要诸如配准之类的预处理。Shaban (2018)通过使用cycleGANs进行这个问题。

9. 生成Microscopy图像

Han和Yin（2017）提出了一种类似于Pix2Pix的框架，用于将显微镜图像中的DIC类型和PC类型转换。

10. 生成Blood Vessels 血管图像

对于检测冠状动脉CT血管造影术（CCTA）中的动脉粥样硬化斑块或狭窄，机器学习驱动的方法通常需要大量数据。为解决缺少标记数据的问题，Wolterink（2018）基于WGAN生成合理的3D血管形状图像。Olut（2018）提出steerable GAN合成MRA（磁共振血管成像）图像。

结语

针对无条件和有条件的图像生成，已有许多基于GAN的方法。但这些方法的有效性如何？目前仍然缺乏一种有意义的、通用的量化手段来判断合成图像的真实性。尽管如此，上述工作表明，GAN似乎可成功地用于分类和分割任务中的数据模拟和扩充。