A 3D Dual Path U-Net of Cancer Segmentation Based on MRI

A 3D Dual Path U-Net of Cancer Segmentation Based on MRI

总结：MRI数据集（没说获得方法，也没说是不是公开数据集），采用了U-Net加DPN的方法，Dice为0.772

Abstract

鼻咽癌是我国最常见的恶性肿瘤之一。然而，癌症的区域是微妙的、多变的和不规则的。在传统的诊断方式中，临床医生的诊断依赖于人工勾画，耗时长，需要丰富的先验经验。近年来，U-Net和DPN(Dual Path Network)的深度学习体系分别在生物医学分割和自然场景中得到了很好的应用。然而，U-Net不能从数据中提取丰富的纹理信息，DPN不能很好地利用浅层和深层信息。而且，这两种方法都是应用在图像的层面上，而不是直接应用于3D图像上，这就抛弃了3D空间域中的解剖上下文。因此，本文提出了一种新颖的三维卷积网络–双路径U-Net(Dual Path U-Network，DPU)，将U-net和DPN相结合，实现了鼻咽癌区域的自动分割。在鼻咽癌患者MRI数据集上的实验表明，在三维生物医学图像自动分割领域，DPU比相应的3D版本的U-Net和DPN更成功。

Keywords

3D convolutional neural networks; image segmentation; magnetic resoance imaging

Introduction

鼻咽癌(NPC)是一种起源于鼻咽部的恶性病变，由病毒、环境影响和遗传等一系列因素引起。它在某些地区更为常见，与病毒、饮食和遗传因素有关。世界上80%的鼻咽癌发生在中国，是中国恶性肿瘤最高的国家之一。目前，鼻咽癌的诊断工具主要依靠磁共振成像(MRI)或计算机断层扫描(CT)。磁共振成像是一种革命性的医学诊断工具，在临床和科学研究中得到了广泛的应用。然而，鼻咽癌的区域细微、多变、不规则。要从医学图像(如磁共振成像)中进行识别并不容易。临床医生依靠人工描绘，这是耗时的，需要丰富的经验。
深度学习是受人脑启发的机器学习的一个现代分支。它显示出强大的能量，在图像自动分割应用中获得了较高的分割准确率。在各种深度学习方法中，卷积神经网络(CNN)[1]在解决计算机视觉中的图像分割问题上显示出突出的潜力。在生物医学成像领域，CNNs已经得到了有效的应用。例如，Payan等人[2]利用3D CNN技术对患者的阿尔茨海默病状态进行了预测。有时，结果比人类放射科医生更有效。Olaf 等人[3]提出了U-Net，它在不同的生物医学分割应用中取得了很好的性能，并得到了广泛的推广。该体系结构由收缩路径和对称扩展路径组成，分别捕获上下文和细节。然而，U-Net在训练时不能有效地获取新的特征和重用这些特征。
最近，陈等人提出[4]提出了DPN，这是一种不同的网络体系结构，其精度可与ResNet[5]和DenseNet[6]相媲美。DPN是一类兼有ResNet和DenseNet优点的CNN，在自然场景分割中得到了广泛的应用。DPN是通过堆叠多个模块化微块来构建的。每个微块由一条残差路径和一条密集连接路径组成，在重用特征的同时探索新的特征。它可以在训练的同时获得更丰富的特征。然而，也存在一些弊端。在网络中，浅层块主要存储输入图像的大致轮廓。与之相反，深层块提取细节纹理信息。随着网络的不断深入，浅层区块的总体轮廓不能有效地传递到后续的深部区块。如果没有大致的轮廓或详细的纹理信息，我们就不能精确定位癌症的区域。因此，基于这一新观点，本文提出了一种受U-net和DPN启发的端到端卷积网络，称为双路径U-Net(Dual Path U-Network，DPU)，用于在MRI上分割鼻咽癌区域。
磁共振(MR)图像是3D体积的形式。然而，由于内存的要求，现有的大多数CNN方法使用的是对2D图像的逐层分析。因此，完全端到端的方式(直接从像素空间分类)使用的技术很少。2D图像的一个明显缺点是完全丢弃了3D空间域中的解剖上下文。多尔兹等人[7]通过较小的内核解决了该问题，从而实现了更深层次的架构。基于这种方法，本文提出了一种直接采用3D MRI形式的细胞神经网络(CNN)，而不是逐层扫描。
本工作在鼻咽癌患者的MRI数据集上进行实验，比较了三维版本的DPU、DPN和U-Net。实验结果表明，该网络具有较好的性能，达到了较高的准确率。实验结果表明，该模型明显优于U-Net和DPN。
本文的其余部分如下，在提出用于癌症的DPU网络之后，在第二部分中在脑MR图像中自动分割鼻咽癌。实验结果在第三部分给出，结束语在第四部分给出。

The method

这项工作有望在3D MR图像上准确地分割鼻咽癌区域。然后提出了DPU，综合了DPN和U-Net的优点。在这一部分中，我们将详细介绍DPU的体系结构。

The Network Architecture of DPU

图1. 用于脑MRI图像中鼻咽癌分割的DPU结构。黄色符号表示要在通道轴线上拼接；“Initial Conv”和“Final Conv”是卷积运算；蓝色的“Micro-block”是我们网络的基础，稍后将对此进行解释。
翻译：

网络架构如图1所示。输入数据为3D体积的MR图像，在预处理阶段，本文从原始数据集中选取并裁剪出多个小的3D 体积，然后在训练模型之前对3D 体积进行数据增强。该架构由收缩路径(左侧)和对称扩展路径(右侧)组成。收缩路径减少了块的大小，有效地提取了有用信息。扩展路径恢复了特征在空间域中的位置信息。
图1中的“初始卷积”是一个3×3×3的卷积。每条路径通过堆叠多个模块化微块来构建，如图2所示，其中包括关于批处理归一化(BN)、整流线性单元(RELU)、3×3×3卷积和Dropout的操作，如下所述。此块不会更改图像体积的大小。

图2.来自DPU的微块。黑色箭头表示运算包括BN、RELU、与3×3×3内核的卷积和Dropout顺序；黄色符号表示通道级联；蓝色“+”表示元素级联；红色“~”表示通道均匀分割。
在收缩路径中，每个微块后面跟随一个2×2×2的池化层用于下采样。在扩展路径中，每个微块后面紧跟一个大小为2×2×2的反卷积层，然后与收缩路径中相应裁剪的特征图进行拼接。这种拼接将浅层块和深层块紧密地连接在一起，混合了粗轮廓和细节纹理信息，提高了分割精度。
在图1中，使用1×1×1的卷积将每个特征向量映射到期望数量的类别，从而产生来自像素空间的类别数量的体积。

The Micro-Block

在DPN的启发下，逐个元素求和可以发现新的特征，而拼接可以有效地重用这些特征。本课题就是利用这些优点来设计这种微块的。在图2中，它是来自DPU的微块。残差路径根据元素将输入特征添加到输出特征中，实现了有效的特征重用。密集连接的路径将通道轴线上的输入要素和输出要素连接在一起，从而能够接收来自先前图层的原始信息。组合微块综合了这两种方法的优点，简单高效，获得了较高的分割精度。
用深度神经网络训练模型时，每一层的输入分布总是随着前几层的变换而发生复杂的变化。由于需要设置较低的学习率和仔细的参数初始化，这种改变会降低训练速度。Loffe 等人[8]通过设计BN的运行来解决这个问题。为了避免分布变化的影响，本工作在每个微块中采用了BN，使得我们可以使用更高的学习率，并且不需要太仔细地进行初始化。
对于激活函数，本文使用了一个基本的激活函数，即流行的ReLU[9]。ReLU单元是非线性的，并确保特征映射始终为正，以获得有用的纹理信息。该函数可表示为(1)

如(1)所示，x定义输入信号，f(x)表示输出。这种激活功能可以使整流器适应它们的输入，以可以忽略的额外计算代价提高网络的精度。

Experiment and Results

在这一部分中，详细介绍了我们的实验和实验结果。所提出的DPU网络已经在基于TensorFlow[10]深度学习框架的Tesla K80上以3.6 GHz和11.18 GB的RAM在ubuntu 14.04上运行。实验是在T1加权的BrainWeb MRI图像上进行的。MR图像数据集包括19例鼻咽癌患者，采集的图像大小为320×320×232。从张拉板曲线比较了DPU和U-Net在同一epoch的accuracy和loss。并用Dice系数(DICE)、真阳性率(TPR)、阴性预测值(NPV)来量化DPU、U-Net和DPN的性能。Dice定义为2|X∩Y|/ |X|+|Y|，X和Y分别代表癌症的真实区域和实验结果。真阳性(TP)和假阴性(FN)之间的TPR被定义为TPR =TP/ (TP+FN)，它衡量通过实验正确识别的癌症区域的比例。真阴性(TN)和假阴性(FN)之间的NPV定义为NPV=TN/(TN+FN)。它衡量的是测试结果为阴性的受试者被正确诊断的比例。

Pre-processing

本文采用了预处理操作，提高了计算效率，扩大了训练数据量。在训练DPU之前，我们已经做了相同的预处理步骤。对训练图像进行随机裁剪，得到64×64×64个patch的大小，前提是阳性样本(patch内肿瘤面积占1.5%以上)和阴性样本(patch内背景面积占90%以上)分别以0.3和0.7的比例分布。

Leave-one-out Cross Validation

本文通过留一交叉验证的方法[11]来克服数据集数量有限的问题。本工作将19例患者的MR图像分为18个训练数据集和1个测试数据集。在对模型进行训练时，我们使用测试数据集在每一步对模型进行验证，并节省了绘制tensorboard曲线的损失，以显示训练过程的清晰度。对19幅图像中的18幅图像自动进行参数优化，然后在测试数据集上测试该算法的性能。然后重复这个过程19次，每次都留出了一对不同的测试用例。最后，对所有19幅图像进行了测试。

Data Augmentation

数据增强已被证明可以产生有希望的方法来提高分类任务的准确性[12]。目标是通过增强来减少过度拟合并提高泛化能力。至于我们的任务，可用的培训数据很少，本文使用过多的数据增强来克服有限的培训数据。本文利用随机获得的patch在不同轴上翻转和旋转的技术，扩大训练数据集的数量。

The Parameter of Training

对于该方法，网络由五个微块组成，其中两个块分别位于收缩路径和扩展路径上，一个块位于U形的底部。在微块中，卷积运算采用3×3×3滤波器作用在固定的32个通道上。在每一卷积层之后，Dropout技术紧随其后，Dropout rate为0.8。除微块外，还有一个初始卷积层(填充卷积，卷积核数为64)，一个最终卷积层进行分类(填充卷积，卷积核数为2)，每个微块随后进行核为2×2×2，步长为2的平均池化或核大小为2×2×2的对称反卷积运算。

The Results and Quantitative Analysis

表I显示了U-NET、DPN和DPU的平均骰子、TPR和NPV。DPU的评价值均优于DPN和U-Net。此外，在图3、图4和图5中，tensorboard曲线显示了U-Net、DPN和DPU的训练过程以及损失和准确率。在训练过程中，我们采用了交叉验证。在图3中，U-Net的训练accuracy和loss分别约为0.985和0.050。验证accuracy约为0.986，验证loss约为0.040。在图4中，DPN的训练accuracy约为0.985，训练loss约为0.032。验证accuracy约为0.988，验证loss约为0.030。在图5中，DPU的训练accuracy和loss分别约为0.987和0.030。验证accuracy约为0.989，验证loss约为0.030。从分割值来看，DPU的分割方法优于U-Net和DPN。


图3. tensorboard曲线记录了U-Net训练过程的损失和准确性

图4.tensorboard曲线记录了DPN训练过程的损失和准确性

图5.tensorboard曲线记录了DPU训练过程的损失和准确性
同样的结论也可以从图6中得出。图6显示了我们测试图像的癌症分割结果。图6分别是DPN、U-Net和DPU的相同切片的结果。通过对预测结果的癌区图像进行比较，发现DPU的不规则分割区域比DPN和UNET更准确。综上所述，本文提出的DPU结构在3D MRI的肿瘤分割中优于DPN和U-Net。

图6. 对DPN、U-Net和DPU的分割结果，按同一切片分别预测癌区图像、标记图像、肿瘤概率图像和原始MR图像的顺序排列。

Conclusion

在这项工作中，我们提出了一种基于U-Net和DPN的3D深度学习架构，用于NPC MR图像的癌症自动分割。与DPN和U-Net相比，我们的方法获得了最先进的结果，并且可解释性使得在现实环境中能够更舒适地采用。未来的工作包括加快训练过程、通过更多数据优化参数以及探索其他体系结构。