Deep learning-based auto segmentation using generative adversarial network on magnetic resonance ima

Deep learning-based auto segmentation using generative
adversarial network on magnetic resonance images
obtained for head and neck cancer patients
使用生成对抗网络对头颈癌患者获得的磁共振图像进行基于深度学习的自动分割
期刊：Journal of Applied Clinical Medical Pyhsics
接收时间：2022年2月17日

Abstract

Purpose: 适应性放射治疗需要对头颈部 (HN) 癌症患者进行自动分割。在当前的研究中，我们提出了一种自动分割模型，该模型使用生成对抗网络 (GAN) 对 HN 癌症的磁共振 (MR) 图像进行 MR 引导放射治疗 (MRgRT)。
Material and methods: 在目前的研究中,我们使用一个来自美国医学物理学家协会MRI Auto-Contouring (RT-MAC) 2019年挑战的数据集。具体来说,MR图像中头颈部区域的八个结构,即颌下腺体,淋巴结水平II和III级，腮腺,使用深度学习模型GAN网络和全卷积网络U-net进行分割。这些影像与临床使用atlas-based分割进行比较。
Results： 对于所有结构，U-net 和 GAN 模型的平均 Dice 相似系数 (DSC) 显著高于基于图集的方法 (p < 0.05)。 具体来说，最大豪斯道夫距离（HD）显著低于atlas方法（p <0.05）。 比较 2.5D 和 3D U-net，3D U-net 在分割 HN 患者的风险器官 (OAR) 方面具有优势。 在所有 OAR 中，DSC 最高为 0.75-0.85，HD 在 所有器官的2.5D GAN 模型内最低，为5.4mm。
Conclusions: 在当前的研究中，我们在 MR 图像上使用 U-net 和 GAN 模型研究了 HN 患者 OAR 的自动分割。我们提出的模型对于提高 HN RT 治疗计划的效率具有潜在的价值。

Keywords

CNN, deep learning, GAN，segmentation

Introduction

头颈癌 (HNC) 是全球第六大常见癌症。 75% 的患者接受了放射治疗。治疗技术已从 3D 适形放射治疗发展到调强放射治疗 (IMRT)。具体而言，IMRT 可以通过减少危险器官 (OAR) 的剂量来实现目标体积的剂量覆盖。 因此，准确描绘目标体积和 OAR 非常重要。有许多 OAR，包括腮腺、下颌下腺和视神经, 需要准确的分割以确保有效和安全的患者治疗。 用于分割目标体积和 OAR 的手动描绘是劳动密集型和耗时的。 根据之前的研究，每个接受 IMRT 的 HNC 患者的分割平均需要 2.7 小时。

为了减少手动分割所涉及的压力和时间消耗，已经开发了一种自动分割系统。 一些供应商已经建立了基于 Atlas 的自动分割。与手动分割相比，这种技术将分割所需的时间减少了 30%–40%。 但是，基于 Atlas 的自动分割使用固定大小。因此 ，这限制了其适应患者解剖结构差异的能力。

与没有辐射暴露的 CT 相比，磁共振成像 (MRI) 可以为软组织提供更高的对比度。在 MR-Linac 等最新进展的帮助下，已经实施了基于 MR 的放射治疗计划。最近，已经开发了 ART 以修改治疗期间体重减轻和靶区缩小的治疗计划。MR 引导RT (MRgRT) 可以根据每日 MRI 评估的患者解剖结构的变化来修改放射治疗计划。为实现 MRgRT，应快速勾画靶区和 OAR。在之前的几项研究中，已经为 HN 患者提出了基于 MRI 的 CNN 分割。在这些研究中，3D CNN 被用于分割大脑和 HN 中的肿瘤区域。

通用对抗网络（GAN）在图像合成中已被证明是成功的。GAN使用两个网络，通过执行竞争和迭代训练来提高彼此的性能。Dong等人报道，GAN提高了胸部分割的准确性。然而，GAN尚未用于HN患者的分割。

目前的研究提出了一种使用 GAN 进行patch分割的自动分割模型。 此外，我们将 GAN 模型与 HN 分割的传统模型进行了比较。

Material and methods

Data

在当前的研究中，从美国医学物理学家协会年会自动分割挑战 (RT-MAC) 2019获得了 55 组用于组织分割的 HN MRI 图像，将数据拆分为 40/15 的训练和验证数据集。具体来说，选择了 2017 年至 2018 年间在德克萨斯大学 MD 安德森癌症中心接受治疗的患者。患者包括 50 名男性 (91%) 和 5 名女性 (5%)，中位年龄为 63 岁（范围：32-77 岁）。

MRI scan

使用单个 1.5 T Siemens MAGNETOM Aera MRI 扫描仪（Siemens Healthcare，Erlangen，Germany）获得 T2 加权扫描。所有扫描均使用多个二维 (2D) 涡轮自旋回波序列获得。采集参数对应于重聚焦脉冲 = 180°，回波时间 = 80 ms，重复时间 = 4800 ms，翻转角 = 90°，切片厚度 = 2.0 mm，像素带宽 = 300 Hz，矩阵大小 = 512 × 512，场视野 = 256 × 256 mm²。

Manual delineation of target structures

由具有10多年临床经验 (ASRM) 的放射肿瘤学家在T2-weighted图像上分割正常组织。每个MRI扫描覆盖了整个HN区域，并根据共识指南进行了手动分割。分割的目标是II和III级淋巴结，腮腺和颌下腺。分割的细节在Kieselmann等人中得到了证明。由三位具有医学物理学家和剂量学家足够临床经验的观察者评估了分割的观察者间变异性。

Fully CNN

传统上，通常用于模式识别和图像分类的2D CNN被用于分割。它用2D输入和2D滤波器进行操作。Zhang等人提出了一种多模态网络，其中输入了红-绿-蓝 (RGB) 通道的各种MRI图像。3D CNN，它使用3D输入图像和3D滤波器，充分利用空间信息的优势，并且可以使用高达体素级别的图像进行训练。Urban等人证明了3D CNN分割脑肿瘤的可行性。Moeskops等人介绍了涉及2.5D的方法。在这些方法中，在XY，YZ和XZ平面中使用了三个正交2Dpatch。与3D CNN相比，2.5D CNN具有更多空间信息和更少计算成本的优势。在另一种2.5D CNN方法中，在训练期间将多个切片的patch用作输入图像。U-net使用具有跳跃连接的全卷积神经网络 (FCN)。在当前的研究中，我们使用了3D U-net，可以有效地分割任意体素大小的图像。此外，我们使用2.5D U-net评估了增强效果，该U-net使用多个切片的随机patch与3D U-net进行比较。3D U-net和2.5D U-net的详细网络如图1所示。核磁共振图像的大小设置为512×512×130 mm³,为了训练，裁剪为136×136×64 mm³。3D U-Net训练在全尺寸的3D 体积上。关于2.5 D U-net,patch大小为136×136×32 mm³。patch的大小由分割中划分成patch的最小值决定。2.5 D U-Net用多切片图像体积进行训练。所有U-net模型由共有59层包含12卷积层,3个max-pooling层,19ge批标准化层、18个激活层和Dice像素分类层组成。激活层都是修正线性单元(ReLUs)。所有卷积层的内核大小被设置为3×3×3。此外,低分辨率图像的上采样使用卷积核为2×2×1和2×2×2的转置卷积层实现。ReLU删除输出特征中输出值低于0的值使学习更有效率。损失函数是使用Dice损失函数。

Fig.1 头颈部分割的2.5D U-net（a）和3D U-net（b）

GAN

在当前的研究中，我们使用 3D GAN 和 2.5D GAN 实现了自动分割模型。 2.5D GAN 使用多个切片的随机patch，这与 2.5D U-net 使用的相似。 3D 和 2.5D GAN 模型的概述如图 2 所示。

Fig.2 用于头颈部分割的2.5D 生成对抗网络（GAN）的架构（a）和3D生成对抗网络（GAN）的架构（b）

GAN 包括一个用于估计分割的生成器和一个用于区分参考分割和生成的分割的鉴别器。生成器试图产生混淆鉴别器的现实分割。 3D GAN 模型的生成器是3D U-net，2.5D GAN模型使用 2.5D U-net。鉴别器使用 FCN，它有六个卷积层，用于从图像中提取特征并产生输出图像。这两个网络是同时训练的。对于训练数据集，超参数进行了优化。具体来说，它针对测试数据集的每个算法都调整为一个（调整为一个什么?）。生成器损失计算为轮廓图像的加权交叉熵损失和残差图像的均方误差之和。加权交叉熵用作判别器损失。为了最大限度地减少这些损失，应用了 Adam 优化器。== 3D GAN 训练了 200 个 epoch，2.5D GAN 训练了 80 个 epoch 和 30 个patch==。所提出的模型是在 12 GB NVIDIA GeForce RTX 3090 图形处理单元 (GPU) 上使用 MATLAB (v. 2019b, MathWorks, Inc., MI, USA) 实现的。

Atlas-based segmentation

基于图谱的分割使用商业基于图谱的分割软件 Velocity AI（Velocity Medical Systems，Atlanta，Georgia）。使用 T2 加权 MRI 图像对 HN 癌症数据的单个图谱进行自动分割。

Evaluation metrics

通过将自动分割与手动分割进行比较来评估其准确性，这与验证数据的金标准相对应。使用平均Dice相似系数 (DSC) 评估手动分割和atlas或DL自动分割方法的重合程度，平均Jaccard相似系数 (JSC) 和最大Hausdorff距离 (HD) (单位: mm)。
DSC 测量手动和自动分割之间的体积重叠，计算如下：

其中A是使用手动分割，B是通过自动分割得到的分割。DSC产生的输出值在0到1之间，其中1表示两个完全重合的轮廓，0表示两个没有重合的轮廓。JSC计算人工分割和自动分割的交集体积与整个联合体积的比率，计算方法如下：
其中A是使用手动分割，B是使用自动分割获得的分割。 JSC 也位于 0 和 1 之间，其中 1 表示完全符合，0 表示不符合。 最大 HD 测量一组手动分割中的点到第二组自动分割中最近点的最大距离。

其中A是使用手动分割，B是使用自动分割获得的分割。 具体来说，||a–b|| 表示a和b之间的欧几里得距离，它们是手动分割和自动分割边界上的点。 此外，h (A, B) 称为有向 HD。 较小的 HD 表明分割的一致性较高。

为了评估分割准确性，进行了t检验以比较参考分割与基于atlas或基于DL的方法之间的差异。在统计分析中，显著性水平设置为p <0.05。

Results

图3示出DSC测量了RT-MAC 2019数据集中所包括的手动分割数据与3个辐射观察者的手动分割之间的体积重叠。左侧颌下腺的平均DSC为0.87，右侧颌下腺为0.88，左侧淋巴结II级为0.86，0右侧淋巴结II级为0.87，左侧淋巴结III级为0.85，右侧淋巴结III级为0.81，左腮腺为0.88，右腮腺为0.89。
Fig.3 RT-MAC 2019数据集中包含的手动分割数据与三名辐射观察者手动分割之间的平均Dice相似系数（DSC）值。

图 4-11 显示了 U-net 模型、GAN 模型和基于图谱的模型对一位代表性患者的分割结果。基于图集的方法得到的所有分割都是欠分割。比较 U-net 和 GAN 模型，2.5D GAN 对双侧颌下腺、双侧淋巴结 II 级和 III 级以及双侧腮腺进行了高精度分割。

图 12 显示了 DSC 的结果，其中手动分割与 U-net、GAN 和基于 atlas 的模型进行了比较。 使用 U-net 或 GAN 的 DL 方法获得的平均 DSC 高于使用基于 atlas 的方法获得的平均 DSC 值。使用 U-net 或 GAN 模型的 DL 方法获得的 DSC 值与使用基于图集的方法获得的所有 OAR 分割的DSC之间存在显著差异。 2.5D GAN 的 DSC， 左侧颌下腺为 0.83，右侧颌下腺 为0.83，左侧淋巴结 II 级为 0.80，右侧淋巴结 II 级为 0.81，左侧淋巴结 III 级为 0.77，右侧淋巴结Ⅲ级为0.75，左侧腮腺为0.85，右侧腮腺为0.85，这是最高的。 使用 U-net 或 GAN DL 方法的平均 DSC 高于基于 atlas 的方法。2.5D GAN 和 3D GAN 的双侧颌下腺、双侧淋巴结水平 II 的 DSC 值存在显著差异。 2.5D GAN 和 2.5D U-net 的比较显示，右侧淋巴结 II 级和双侧淋巴结 III 级的 DSC 值存在显著差异（p < 0.05）。2.5D GAN 和 3D Unet 的比较显示，双侧淋巴结 III 级的 DSC 值存在显著差异（p < 0.05）。 2.5D U-net 和 3D U-net 的比较显示，对于双侧淋巴结水平 II 和双侧淋巴结水平 III (p < 0.05)，3D U-net 的 DSC 值显著高于 2.5D U-net 。

图 13 显示了 JSC 的结果，它将手动分割与基于 U-net、GAN 和 atlas 的模型进行了比较。 U-net 或 GAN 的 DL 方法的平均 JSC 高于基于图集的方法。对于所有OAR的分割，U-net 或 GAN 模型的 DL 方法的 JSC 值与基于图集的方法的 JSC 值之间存在显着差异（p < 0.05）。

2.5D GAN 的 JSC，左下颌下腺为 0.70，右下颌下腺为0.71，左淋巴结 II 级为0.65，右淋巴结 II 级为0.68，左淋巴结 III 级为 0.63，右侧淋巴结Ⅲ级为0.61，左侧腮腺为0.74，右侧腮腺为0.75，这是最高的。 2.5D GAN 和 3D GAN 的 JSC 值在双侧下颌下腺、双侧淋巴结水平 II 和 III 以及右侧腮腺之间存在显著差异（p < 0.05）。 2.5D GAN 和 2.5D U-net 的比较显示，右侧淋巴结 II 级和双侧淋巴结 III 级的 JSC 值存在显著差异（p < 0.05）。

2.5D GAN和3D U-net的比较显示，右淋巴结III级的JSC值存在显著差异 (p＜0.05)。此外，2.5D U-net和3D U-net的比较显示，右淋巴结II级和左淋巴结III级的3D U-net的JSC值显著高于2.5D U-net的JSC值 (p<0.05)。

图 14 显示了将手动分割与 U-net、GAN 和基于 atlas 的模型进行比较的最大 HD 的结果。对于所有OAR的分割结果，U-net 或 GAN 的 DL 方法的最大 HD 低于基于图集的方法。所有OAR的分割，U-net 或 GAN 模型的 DL 方法与基于图集的方法的最大 HD 值之间存在显著差异（p < 0.05）。此外，右侧颌下腺、右侧淋巴结 II 级、右侧淋巴结 III 级和左侧腮腺的 2.5D GAN 和 3D GAN 的最大 HD 值存在显著差异（p < 0.05）。2.5D GAN 和 2.5D U-net 的比较显示，右侧颌下腺的最大 HD、右侧淋巴结 II 级和双侧淋巴结 III 级存在显著差异（p < 0.05）。此外，2.5D GAN 和 3D U-net 的比较显示，右侧下颌下腺和右侧淋巴结 III 级的最大 HD 存在显著差异（p < 0.05）。此外，2.5D U-net 和 3D U-net 的比较显示，3D U-net 的最大 HD 值显著高于 2.5D U-net，右侧淋巴结水平 II 和双侧淋巴结水平 III (p < 0.05)。表 1 总结了 2.5D GAN 与 3D GAN、2.5D CNN、3D CNN 和 Atlas 模型 的其他模型的分割性能比较。

Fig.4 比较手动分割和（a）2.5D生成性对抗网络（GAN），（b）3D GAN，（c）2.5D U-net，（d）3D U-net，以及（e）基于atlas的左下颌下腺分割。黄色区域表示参考分割，红线表示基于atlas或深度学习方法的分割。

Fig.5 比较手动分割和 (a) 2.5D生成对抗网络 (GAN)，(b) 3D GAN，© 2.5D U-net，(d) 3D U-net和 (e) 基于图集的方法在右下颌下腺分割。黄色区域表示参考分割，红线表示基于图集或深度学习方法的分割。

Fig.6 比较手动分割和 (a) 2.5D生成对抗网络 (GAN)，(b) 3D GAN，© 2.5D U-net，(d) 3D U-net和 (e) 基于图集的方法对左淋巴结II的分割。黄色区域显示参考分割，红线显示基于图集或深度学习方法的分割。

比较手动分割和 (a) 2.5D生成对抗网络 (GAN)，(b) 3D GAN，© 2.5D U-net，(d) 3D U-net和 (e) 基于图集的方法对右淋巴结II级的分割。黄色区域表示参考分割，红线表示基于图集或深度学习方法的分割。

Fig.8 比较手动分割和 (a) 2.5D生成对抗网络 (GAN)，(b) 3D GAN，© 2.5D U-net，(d) 3D U-net和 (e) 基于图集的方法对左侧淋巴结水平 III的分割。黄色区域表示参考分割，红线表示基于图集或深度学习方法的分割。

Fig.9 比较手动分割和 (a) 2.5D生成对抗网络 (GAN)，(b) 3D GAN，© 2.5D U-net，(d) 3D U-net和 (e) 基于图集的方法对右侧淋巴结水平 III的分割。 黄色区域表示参考分割，红线表示基于图集或深度学习方法的分割

Fig.10 比较手动分割和（a）2.5D生成性对抗网络（GAN），（b）3D GAN，（c）2.5D U-net，（d）3D U-net，以及（e）基于atlas的方法对左侧腮腺的分割。黄色区域表示参考分割，红线表示基于atlas或深度学习方法的分割。

Fig.11 比较手动分割和（a）2.5D生成性对抗网络（GAN），（b）3D GAN，（c）2.5D U-net，（d）3D U-net，以及（e）基于atlas的方法对右侧腮腺的分割。 黄色区域表示参考分割，红线表示基于图集或深度学习方法的分割。

Fig.12 2.5D 生成对抗网络 (GAN)、3D GAN、2.5D U-net、3D U-net 和基于图集的方法的 Dice 相似系数 (DSC) 值的平均值和标准差。

Fig.13 2.5D 生成对抗网络 (GAN)、3D GAN、2.5D U-net、3D U-net 和基于图集的方法的 Jaccard 相似系数 (JSC) 值的平均值和标准差。

Fig.14 2.5D 生成对抗网络 (GAN)、3D GAN、2.5D U-net、3D U-net 和基于图集的方法的最大 Hausdorff 距离 (HD) 值的平均值和标准差。

Table1 2.5D生成对抗网络（GAN）与其他3D GAN、2.5D卷积神经网络（CNN）、3D CNN和atlas模型的分割性能比较。

注：Submand_L：左下颌下腺； Submand_R：右下颌下腺； Neck_LNII_L：左淋巴结Ⅱ级； Neck_LNIII_R：右侧淋巴结 III 级； Neck_LNIII_R：右侧淋巴结 III 级； Parotid_L：左腮腺； Parotid_R：右侧腮腺；◎：DSC、JSC 显著升高，HD 更小（p < 0.05）； ，三个指标中的一个或两个具有显著更高的 DSC、JSC 和更小的 HD（更高性能模型）。 缩写：n.s.，not significant。

Discussion

传统的自动分割工具使用基于图谱的分割，它通过手动分割构建正常组织库，并将其外推到具有刚性或可变形图像配准的新患者。 参考图像上基于图谱的分割对应于参考图像配准到新图像后新图像的转置。所提出的具有 U-net 和 GAN 的 DL 方法表明比基于图集的方法具有更准确的分割。基于图集的方法难以对应各种身体形状。 相反，可以适应更大数据集的深度学习有助于提高分割的统计能力。 童等人将基于图集的方法、基于模型的方法和用于 HN 分割的 U-net在CT 图像进行了比较。U-Net显示了高度精确的分割性能。目前的研究仅使用T2加权MRI图像。Hague等人比较了HN的MRI和CT图像自动分割的准确性。对于双侧腮腺和双侧颌下腺，MRI图像的自动分割模型优于CT图像的自动分割模型。与CT图像相比，MRI图像显示出更好的软组织可视化效果，因此MRI图像适合于自动分割。

Kieselmann 等人比较了 2D U-net、2.5D U-net 和 3D U-net 用于腮腺分割。输入图像使用了 2.5D U-Net 的三个相邻切片。2.5D U-net 显示较低的右侧腮腺分割的准确性和更高的左侧腮腺分割的准确性。使用所提出的 DL 方法进行分割的准确度相当于或略高于 Kieselmann 等人的方法。在当前的研究中，我们使用了基于patch的多切片的 2.5D 网络来实现有效的 OAR 自动分割方法。

由于GPU内存的限制，Kieselmann等人准备了一个patch图像，该图像聚焦在每个腮腺的质心。他们指出了在创建patch图像的过程中可以省略腮腺的局限性。在这项研究中，在切片方向上创建了随机patch图像，而没有识别几何位置。它在数据增强中起作用。此外，2.5D网络可以减少计算时间和GPU内存的消耗。对于双侧腮腺和双侧下颌下腺，2.5D U-net的分割精度与3D U-net的分割精度没有差异。相反，3D U-net在淋巴结分割方面优于2.5D U-Net。对于使用U-net进行分割，有必要学习整个3D形状以进行淋巴结分割。

相反，与3D GAN、2.5D和3D U-net相比，2.5D GAN显著提高了HN患者大多数OAR的分割精度。Dong等人提出了使用CT图像分割胸部的UNet-GAN。Dong等人发现，与U-Net相比，U-Net-GAN提高了分割的准确性。此外，Sultana等人报告说，带有3D U-net的GAN使用CT图像成功分割骨盆区域。3D网络的优势在于，它可以获得更多的空间信息来使用整个图像体积。另一方面，它的缺点是需要更多的训练患者数据来实现稳健的性能。在目前的研究中，3D U-net比2.5D U-net具有更好的分割性能。因此，3D Unet和2.5D U-net之间的样本量的影响很小，并且用于训练的空间信息的差异可能占主导地位。另一方面，2.5D GAN表现出比3D GAN更好的分割性能。使用提供图像的U-net的生成器需要更多的空间信息。GAN除了生成器之外还使用鉴别器。区分ground truth和由生成器创建的分割的鉴别器将需要进行精细的训练，并使用数据增强的patch图像。拟议的2.5D GAN通过提供经过训练好的参数并在真实和虚假分割之间进行精细区分，有助于准确分割。

先前的一项研究报告称，尽管使用了公认的描绘指南，但5名HN癌症专家之间的平均体积存在显著差异。本研究评估了分割的观察者间变异性。RT-MAC 2019年数据集中包含的手动分割数据和放射科观察者手动分割数据之间的最小DSC值为0.80。因此，人工分割的精确度和观察者间的变异性是影响DL分割不确定性的主要因素。然而，AutoSegment通过使用具有足够水平的参考分割来帮助减少治疗计划的观察者间变异性、时间和成本。

所提出的模型可能对基于 MRI 的规划有用。 GAN 可以执行图像合成，例如 CT 到 MRI。在进一步的研究中，我们将使用从 CT 图像合成 MRI 图像的建议模型，以提高与 CT 图像分割的准确性。欧洲放射与肿瘤学会-放射肿瘤学实践咨询委员会 (ESTRO-ACROP) 报告了 MRgRT.40 的局限性和益处。他们建议开发基于计算机的数据密集型解决方案，例如使用 DL 进行自动分割，并通过放射组学分析支持医疗决策。所提出的模型可以帮助 MRgRT 的在线自适应工作流程。当前研究的局限性对应于通过自动分割评估剂量效应。在临床实施方面，将在未来的研究中通过手动和自动分割对剂量误差进行评估。此外，目前的研究很难将他们的结果与比赛参与者进行比较，因为 RT-MAC 挑战已经结束。此外，可用的结构是有限的。目前的研究表明，使用patch图像的 2.5D GAN 有可能比传统的基于 atlas、U-net 和 3D GAN 分割提高分割的准确性。将进行进一步研究以改进适用的 2.5D GAN 模型对于其他结构，如脑干、交叉、视神经和喉。

Conclusion

在当前的研究中，我们在 MR 图像上使用 U-net 和 GAN 模型研究了 HN 患者 OAR 的自动分割。 结果表明，基于 2.5D GAN 的分割优于传统的基于 Unet 和基于图谱的分割。我们提出的模型在提高 HN 放射治疗计划的效率方面具有潜在的价值。