Image Translation for Medical Image Generation Ischemic Stroke Lesion Segmentation——论文翻译

摘要

​ 基于深度学习的疾病检测和分割算法有望改善许多临床过程。然而，此类算法需要大量带注释的训练数据，而由于数据隐私、法律障碍和非统一的数据获取协议，这些数据通常在医疗环境中不可用。带有注释病理的合成数据库可以提供所需数量的训练数据。我们以缺血性中风为例证明，基于深度学习的增强技术在病灶分割方面的改进是可行的。为此，我们训练不同的图像到图像的翻译模型，从语义分割图合成有和没有脑卒中病灶的脑体素磁共振图像。此外，我们训练生成对抗网络，以生成合成病变mask。随后，我们结合这两个组件来构建一个大的合成卒中图像数据库。使用U-Net评估各种模型的性能，该U-Net在临床测试集上用于训练分割中风病灶。我们报告了性能最好的模型的Dice得分为72.8%[70.8±1.0%]，优于单独在临床图像上训练的模型67.3%[63.2±1.9%]，接近人们已知的Dice得分76.9%。此外，我们还发现，对于只有10或50个临床病例的小型数据库，与不使用人工数据的情况相比，人工数据增强的效果显著。据我们所知，这是第一次比较分析基于图像到图像翻译的合成数据增强，并首次应用于缺血性中风。

关键词:生成对抗模型，图像到图像的翻译，脑卒中病灶分割，图像合成

1 介绍

​ 缺血性中风(IS)是全球第二大死亡原因¹，而且，即使不是致命的，也经常会导致不可逆的脑组织病灶和残疾。IS是由血管阻塞引起的，导致大脑某些区域的血液供应受到限制或抑制。因此，治疗的成功与症状的出现和成功的血管重建治疗之间的时间密切相关²³。因此，简化和优化诊断过程至关重要。虽然许多临床中心使用计算机断层扫描(CT)作为中风的第一成像方式，因为它更广泛的可用性、速度和相对没有禁忌症，但识别和定量IS病变的金标准是扩散加权磁共振成像(DWI)，与正常组织相比，梗死区诱发高强度，对应于相对扩散受限区。这些区域的手工分割相对简单，但对于训练有素的专家来说，这是一项乏味的任务，而使用标准方法进行自动分割则是一项困难的任务，例如，由于病变的几何形状复杂，磁共振信号强度的非微小变异性，不同的位置，以及大量的图像伪影。机器学习，特别是深度学习(DL)，具有鲁棒性地自动化这些任务的潜力⁴⁵⁶。然而，DL模型的训练需要大量的标记数据，而这些数据通常由于隐私问题、不兼容的数据格式或疾病罕见而不可用。此外，手工分割医学图像是一项只有有经验的放射医师才能完成的任务，昂贵，容易出错，而且耗时。因此，大型医学图像注释数据库是稀缺的:例如，缺血性中风病灶分割挑战(ISLES)数据集包含64 IS卷⁷。相比之下，ImageNet数据库⁸是非医疗领域对象识别的一个流行数据集，包含1400万张图像。

​ 使用深度生成模型⁹的合成图像生成可以通过增加可用的数据集或完全替换它们，绕过前面提到的与数据安全和可用性相关的担忧，从而将DL成功连接到医疗应用。然而，这些模型也需要大量的训练数据集，以获得良好的结果。此外，除了逼真的图像外，模型还必须提供病变标记，这在目前深度生成模型中是不能直接实现的。

​ 我们尝试用图像到图像转换模型(ITMs)来合成脑卒中病灶的DWI，即从一个训练域转换到另一个训练域的DL模型：包含脑结构解剖标记和脑卒中病灶标记的语义分割图被翻译为脑DWIs。此外，新的病变标记由三维生成对抗网络生成。我们设想，解剖标签将引导网络产生与真实DWIs相当的组织对比清晰的图像。同时，训练集的病变标记将提供足够的信息来学习病理特异性的对比修饰。ITM应该学会在病变标记内部产生高强度，同时忽略任何(统计上未被充分代表的)错误分类，例如病变标记外部的高强度或被人为误分类为病变的正常组织。这有一个可喜的副作用:网络将产生与高置信度标记的输入区域相匹配的DWI病变，从而提供准确的病变标记。使用这种方法获得的合成图像可以用来增强临床数据库，或者，就像这里，直接用于监督学习，从正常脑组织中分割中风病灶。

​ 相关工作 建议的方法在本质上类似，但比参考文献¹⁰更通用。其中，通过线性增加轮廓内的体素强度，将真实的IS病变轮廓融合到健康脑DWI中，从而模拟病变，最后生成合成的IS体素。这确保了解剖学边界条件正确，并生成了现实的强度模式。我们建议的一部分是将这个任务外包给生成DL模型，该模型概括了神经网络本质上是非线性的。通过他们的方法，作者实现了Dice相似系数(DSC)从65%的增加，当包含2,000张合成图像时，仅使用临床数据的比例达到70%，而使用40,000张合成DWI的比例甚至高达72%。这种方法的优势在于，它可以生成连贯的3D数据；然而，它的组合是有限的，因为只有有限数量真正的病变标记可用。此外，参考文献¹¹¹²成功使用生成对抗网络(generative adversarial networks, GANs)生成合成磁共振图像(synthetic magnetic resonance images, mri)，提高了脑肿瘤分割精度。¹³采用了一种不同的方：作者使用ITM从CT图像中获得DWI，这使他们能够提高CT上使用合成DWI增强的缺血性中风核心组织的分割质量。同样，Ref.¹⁴使用ct - mr图像翻译来改善肺肿瘤的分割。最近在文献¹⁵中提出了使用风格转换的进一步方法，其中使用图像到图像转换将健康的磁共振图像转换为病变的磁共振图像以进行脑肿瘤分割，在文献¹⁶中将磁共振图像转换为CT图像以进行一般治疗计划。最后，参考文献¹⁷介绍了一种用于各种医疗任务的ITM方法，包括图像去噪、运动校正和域自适应。

​ 贡献 我们提供了一种从语义分割图中合成IS病灶标记和DWI的新方法。前一个任务由ITMs实现，病变标记由3D GAN生成。这使我们能够建立空间一致的脑体积，包括病灶的标签。此外，这使我们的管道具有可扩展性，因为GAN可以用来生产无限数量的合成的、但不同的病变标签。因此，我们证明了基于DL的数据增强易于利用有限的医疗数据集中包含的信息，并优于传统的数据增强技术，¹⁸提出了这一想法，并进一步发展了¹⁹在非医疗背景下的细分。通过比较人工标记数据训练的U-Net²⁰和人工合成数据训练的U-Net²⁰的DSC，我们量化了这一说法，每一个都在一组临床IS数据上进行评估。我们强调了我们的流程的几个应用领域，并强调了方法的实用性，因为训练有素的IT管理人员可以自由分发，而不存在任何数据隐私问题。目前已有许多研究探讨了下游临床任务的潜在改进，如解剖分割和肿瘤分割；然而，许多只讨论一个特定的模型设置。据我们所知，这是第一次使用ITMs对IS病灶分割进行数据增强的对比研究。

​ 本文的结构如下。在第二章中，我们描述了在图像合成流程中使用的数据和模型，并详细说明了如何定量评估结果。分析的结果在第III节中提出和讨论，然后在第IV节中得出结论。附录中包含补充信息。

2 数据和方法

​ 我们提出了一种方法，通过两个连续生成模型来生成显示IS病灶的大脑注释DWIs，一个用于生成真实的中风病灶标签，另一个用于将大脑分割掩模转换为DWIs。健康大脑的解剖分割mask是现成的，不需要医学培训，因为有几种自动分割算法存在。另一方面，假设GAN合成中风病灶标记引入一般的变换，以及可用病灶掩模的潜在空间表示的现实插值。最后，使用条件生成模型来生成合成图像，与无条件、潜在空间模型相比，显著改善了生成器的收敛行为。因此，我们构建了一个最小工具箱，可以很容易地通过利用GAN的插值能力来合成更多的病灶掩模，来生成更多的带注释的DWIs。该工作流程如图1所示。下面我们将详细描述所涉及的数据和方法。

图1. 训练 GAN 以从 365 个手动分割的中风患者的 DWI 的数据库中生成病变标签。使用相同的 365 个病理体积和另外 2027 个健康大脑 MR 扫描，训练各种 ITM 合成来自解剖分割掩码的 DWI。然后可以使用经过训练的 ITM 将假病灶标签与健康大脑分割掩码（真实或虚假）以生成具有高质量分割标签的合成中风 DWI。

2.1 数据

​ 巴塞尔大学医院获得了具有IS症状的804个DWI患者的数据库，机构审查委员会批准了该数据库。该数据库(今后的卒中DB)包含449例DWI阳性病例，即诊断为IS病变(患者平均年龄72±14岁;左侧ISs 200例，右侧ISs 193例，双侧ISs 56例;女194名，男255名)。DWI阳性病例随机分为训练(365例)和测试(74例)。此外，测试集中纳入了85个DWI阴性样本，共159个测试样本。2027例健康DWI扫描的单独数据库(平均年龄38±24岁;1088名女性，939名男性)用于扩大流程(正常DB)。卒中DB中的大多数图像是在1.5T扫描仪上获得的(67% @1.5T;23% @ 3t)，而大多数正常DB扫描使用3t扫描仪(68% @1.5T;平均而言，卒中DB扫描的回波和恢复时间相似(TE= 90±16 ms, TR= 7400±1300 ms[正常DB] vs.TE= 100±2 ms, TR= 7000±1500 ms[卒中DB])。

​ 图像重新配准到蒙特利尔神经学研究所的标准图谱²¹，使用FSL的“大脑提取工具”[^23]进行头骨剥离，并使用ANTs²²重新采样到标准分辨率128×128×40的体素。为了在训练过程中获得更好的稳定性，顶部和底部的四个切片被裁剪。体素强度被裁剪为99.5%，背景则被裁剪为绝对体素强度为35。最后，将信号强度重新调整到范围[−1,1]。使用3D U-Net训练通过FreeSurfer²³获得的参考图像得到大脑的解剖分割，如参考文献²⁴所述。这将整个数据库的处理时间减少到几个小时。

2.2 图像翻译

​ 虽然无条件的GAN已经被训练来产生关于脑DWIs²⁵的最先进的结果，但它们不能自动为解剖结构或病理提供基本的真实标签。另一方面，ITM是生成模型，它根据输入的分割图生成样本。因此，Ground Truth标签可以通过构造来获得。此外，这种方法通过提供分割标签的不同实例之间的边界，有助于提高生成的图像的质量。在这一节中，我们介绍了本文研究的ITM，进一步的细节可以在附录中找到。

This cycle consistency lends its name to the

2.2.1 Pix2Pix

​ Pix2Pix是一个经过充分研究的ITM，它首先由²⁶提出，并由²⁷进一步开发。Pix2Pix被广泛接受为成对图像翻译的选择方法，即当两个域的图像成对出现时，就像我们的数据库一样。它先前已成功地应用于医学数据，如参考文献^12132829。最初的Pix2Pix是基于U-Net架构的；然而，在模型的高分辨率导数中使用残差块²⁷³⁰。我们已经训练了两种架构，但发现在质量上差别不大，因此使用了基于U-Net的版本，收敛更快。该网络的损失函数是对抗性损失和L1范数重建损失的加权和:
$$L_{Pix2Pix}=E_y[logD(y)]+E_x[1-logD(G(x))]+\lambda ||y-G(x)|{|}_{L1}$$
在这个公式中，$E_{x/y}$表示从两个域中任意一个域获得的期望值，D表示运行在目标域上的鉴别器网络，G表示生成器网络。我们考虑重构损失权重λ的不同值，因为我们发现λ= 100(Pix2Pix100)比λ= 10(Pix2Pix10)的推荐值在质量上更有吸引力。对于鉴别器架构，我们依赖于PatchGAN^{2631 32}。与普通鉴别器不同，PatchGAN不输出单一的数字来表征图像的真伪，而是输出图像的小块，因此可以在较小的尺度上为生成器提供更精确的反馈。L1 loss²⁶能够很好地捕捉大尺度或低频特征。

2.2.2 CycleGAN

​ 利用cycleGAN³³给出了一种非成对图像平移的方法。两个生成器-鉴别器对，每个图像