A 2.5D Cancer Segmentation for MRI Images Based on U-Net

A 2.5D Cancer Segmentation for MRI Images Based on U-Net


总结：创新点不是很多，就是多个U-Net结果的融合。

Abstract

现有的图像分割方法大多局限于二维平面，只考虑一个方向的图像信息。U-Net作为一种经典的二维CNN图像分割框架，在分割精度上还需要进一步提高。此外，三维CNN需要很高的计算量。为了在分割精度和计算代价之间取得平衡，本文主要提出了一种基于U-Net的2.5D图像分割方法，用于鼻咽癌MRI肿瘤面积的预测。本文从三个正交方向的三维MRI图像中采样二维块，然后分别馈入三个U-Net。最后，将训练好的U-Net得到的概率图进行整合，生成最终的分割结果。实验表明，与2D分割相比，我们的2.5D分割方法的分割性能有了明显的提高，并且在计算效率上优于3D U-net。

Keywords

2.5D Image Segmentation U-Net Magnetic Resonance Image

Intorduction

鼻咽癌(NPC)是恶性肿瘤的高发区之一。放射治疗是鼻咽癌的首选治疗方法，但对于晚期癌症，放疗、手术切除、化疗等是必不可少的治疗手段。鼻咽癌MRI准确划分癌灶面积对评价术后放化疗效果具有重要意义。然而，手动勾画癌症区域[1]是一项既耗时又费力的工作。此外，不同放射科医生对肿瘤区域的勾画结果受主观经验和环境等多种因素的影响，且结果不具有重复性。因此，临床上迫切需要实现肿瘤区域的自动分割[2]。
由于图像分割的重要性和难度，图像分割技术得到了广泛的研究。为了提高图像分割的效果，在图像分割的早期阶段采用了基于灰度方差的边缘检测分割方法[3]。然而，由于噪声的影响，性能不稳定。提出了更先进的方法。例如，JinSangKIM等人[4]开发了一种多特征聚类方法，[5]提出了一种基于模糊神经网络的更稳健的方法，以克服噪声的影响。
最近，受计算机视觉深度学习取得巨大成功的启发[6,7]，引入了新的基于学习的分割方法[8,9]。这些基于CNN的方法能够直接从patch（像素周围的局部区域）学习日益复杂特征的层次结构，并根据学习的特征预测每个像素的类标签[10]。[11] 开发了一个完全卷积网络（FCN）来指导多尺度特征学习，该学习能够捕获局部和全局图像特征。[12] 建立在基于FCN的更优雅的架构之上，称为“U-Net”。它只处理很少的训练图像，并产生更精确的分割。不久之后，Ahmed Abdulkadir等人提出了一种基于3D U-Net的体积分割网络[13]，以充分利用3D空间信息并实现了出色的分割精度。然而，Unet的3D版本遇到高计算成本并且收敛速度慢于2D U-net。因此，开发具有更好准确性和高计算效率的快速全自动分割方法是本研究的主要动机。在这项研究中，提出了一种用于在NPC MRI图像上分割癌症区域的2.5D方法。我们架构中的一个重要修改是构建三个分离的U-Net并分别接受来自三个不同方向的数据。最后，将这三个U-net的概率图组合起来生成最终的分割结果。广泛的实验表明了该方法的优越性。
论文的其余部分组织如下。在第二节提出了基于U-Net的2.5D方法在MRI分割中的具体实现后，第三节给出了实验结果，第四节给出了结束语。

Methods

通常，MR图像是3D高维结构的形式，如图1所示。从三个视图观察3D MR图像，红色标记是感兴趣区域。一般而言，由于样本有限和计算成本高，3D MR图像通常难以训练。在预处理阶段，本文巧妙地将三维空间数据转换为二维patch，降低了计算复杂度。为此，分别从三个方向（即深度，宽度，高度）获取2D patch以完全保留3D空间信息。然后，如图2所示，构建了三个二维U-Net，它们分别与三维图像的深度，宽度和高度方向的二维patch一对一关联。

图1.鼻咽癌三维MR图像的三个视图，带红色标记的癌区由医生校准为标记数据。

图2. 2.5D架构。输入图像为来自三个方向(表示为1、2、3)的二维patch，在训练阶段分别输入到U-Net框架中。U网由收缩路径(左侧)和扩展路径(右侧)组成。每个灰色方框对应于一个多通道特征地图。白色方框表示复制的要素地图。在箭头上方表示不同的操作，然后对三个训练模型的分割结果进行平均，得到最终的分割结果。

Experiments

在实验中，本文演示了2.5D方法在鼻咽癌图像分割任务中的应用，并在19例患者的放射科医生MR图像标记的数据集上对我们提出的方法进行了评估。原始数据是320×320×232像素大小的3D图像，分别使用Dice系数(DICE)、平均对称表面距离系数(ASSD)[14]来量化所提出的2.5D方法和由三个正交方向训练的2D U-Net的性能。ground truth标注A和分割结果B之间的Dice定义为：

两个掩码M1和M2之间的ASSD定义为：

其中
表示M1和M2的边界，d( , )表示欧几里得距离。这是对Hausdorff Distance的稳健且对称的修正。
该方法已经在Ubuntu 14.04和Tesla K80上运行，运行频率为3.6 GHz，RAM为11.18 GB。网络结构通过TensorFlow实现。构建了三个基于不同视角方向的U-Net。然后将来自三个方向的二维patch分别作为三个U-Net的输入。为了使我们提出的基于U-Net的2.5D分割方法的分割结果更加稳健，这些网络进行了基于留一验证的训练。
深度学习通常需要大量的数据作为支撑，才能克服过拟合问题。因此，本文采用了旋转变换、翻转变换等数据增强技术来增加样本数量[15]。一方面增加了数据集的规模，另一方面可以缓解过拟合问题，提高分割性能和泛化能力。
为了模拟实际应用，本文按照一定的比例随机选取了38000个大小为32*32的patch，生成阳性样本(30%的癌变面积)和阴性样本(70%的背景面积)。随机梯度下降的学习速率被设置为0.001，并重复7,000次，直到模型达到饱和，如图3-5所示。三个U-Net的概率图如图6所示，可以看出，根据平均值，来自三个方向的共同模式被强化，非共同模式被削弱，从而获得了更准确的分割结果，如图7所示。
为了直观地比较不同方法的性能，本文对19名受试者的Dice/ASD进行了平均，以评估每种方法的性能。如表I所示，2.5D方法获得了0.6067的Dice和1.1286的ASD。因此，2.5D方法的性能优于现有的2D U-Net方法。此外，2.5D方法的方差相对较小，表明它在测试集上的性能更稳定。由于2.5D模型的输入由三个方向的3D数据组成，2.5D在2D训练模型的基础上综合了3D数据在三个方向上的特征，克服了2D CNN在生物医学图像分割中的局限性，提高了分割精度。对于3D U-Net方法，它比2.5D U-Net方法获得了更准确的分割结果，如图8-10所示。然而，表II显示了训练和测试的成本，训练3D CNN模型花费了大约8小时，而训练2.5D模型对于相同迭代的一个受试者只运行了大约5小时。2.5D方法处理一幅测试图像的平均时间约为40s，比3D方法快3倍。因此，2.5D方法所需的计算量较小。

图6. 2D和2.5D中四个主题的概率图。每行表示参与测试的不同主题。“高度，深度和宽度”分别表示三个方向的概率图。“2.5 D”表示2.5 D的概率图。
图7
图. 2D和2.5D中四个主题的分割图。每行表示参与测试的不同主题。“高度，深度和宽度”分别表示三个方向的分割结果。“2.5D”表示2.5D的分割结果。最后，与实际数据的标签相比，可以看出2.5D分割结果比2D分割结果更准确。


图9.四个受试者的3D和2.5D分割图。每一行都表示不同的受试者参与了测试。最后，与真实数据的标签进行对比，可以看出3D分割结果比2.5维分割结果更准确。

图10. 根据形态学后处理方法，在3D和2.5D中对四个测试对象的分割结果。

然而，我们也观察到，如图9所示，2.5D方法的结果总是包含许多孤立区域，这降低了分割精度。因此，本文引入形态学技术作为后处理方法来去除这些孤立区域。如图10和表Ⅲ所示，可以看出2.5D方法的分割精度在后处理阶段有了很大的提高，达到了0.6529的Dice和1.1036的ASSD。

Conclusion

本文提出了一种基于U-Net的2.5D医学图像分割方法，该方法在分割精度和计算代价之间取得了平衡，可以从3D MR图像中自动预测肿瘤区域。与传统的二维U-Net相比，该方法取得了更好的性能。尽管2.5D方法的分割精度不如3D U-net，但具有更高的计算效率。我们的下一步工作是研究更灵活的2.5D方法，将来自不同方向的2DU-Net结合起来，以及更有效的后处理技术，以进一步提高分割精度。