Segmentation of Head and Neck Tumours Using Modified U-net

Segmentation of Head and Neck Tumours Using Modified U-net

Abstract

提出了一种新的用于磁共振成像（MRI）头颈癌自动分割的神经网络。所提出的神经网络是基于U-net的，它结合不同分辨率的特征来实现医学图像的端到端定位和分割。在这项工作中，扩展卷积被引入到U-net中，以获得更大的感受野，从而提取多尺度特征。此外，该网络使用Dice失来减少类之间的不平衡。该算法在真实的MRI数据上进行了训练和测试。交叉验证结果表明，新网络在头颈部肿瘤分割方面比原始Unet高出5%（Dice分数）。

Keywords

MRI data, Head and neck cancer, U-net, dilated convolution, semantic segmentation

Introduction

根据世界卫生组织[1]的数据，2015年全球约有880万人死于癌症。放射治疗和手术一起提供了根治性治疗的主要选择。放射治疗计划是一个复杂而漫长的过程，需要对复杂的癌症区域进行详细的界定。这个区域被称为总肿瘤体积(GTV)。该区域的定义是准确和有效的放射治疗计划的基础。自动勾画方法的发展可以减少人工勾画肿瘤的内部和外部差异性，为临床肿瘤学家减轻工作量和改善放射治疗提供客观可靠的帮助[2]。
图1(a)显示舌根肿瘤的T1加权钆增强头颈部MR图像。众所周知，肿瘤区域边界模糊，与邻近组织没有明显区别。此外，在头部和颈部，有一些区域和组织具有与肿瘤相似的特征(强度、位置)，如淋巴结；这些区域和组织可能会产生假阳性。此外，如图1(b)所示，MRI数据的伪影很明显，例如照明不均匀。这些都使得肿瘤的自动分割成为一项极具挑战性的任务。

图1（a）具有癌性淋巴结的T1加权钆增强头颈部MR图像实例；（b） 来自一个MRI数据集的图像系列。
对于头颈部癌症或组织分割，已经提出了多种算法，例如基于图谱的技术[3]、基于训练的方法[4、5]和变形模型[6-8]。然而，这些方法并不能有效地解决自动分割的难题。使用可变形模型的工作依赖于初始化的质量；而在[3]中，基于图谱的方法和基于训练的方法依赖于图谱或大量标记的数据。另外，从医学图像的深度学习研究来看[9]，目前还没有一种有效的深度学习方法应用于头颈部肿瘤的分割。
提出了一种从MRI数据中分割头颈部肿瘤的端到端算法。这项工作的挑战包括：分割边界模糊、强度不均匀的肿瘤区域，避免相邻的解剖结构；从相似的组织和区域中区分出真实的目标；最后，用有限的数据训练一个深度神经网络。准确定位癌灶的位置和提取准确的癌灶是非常重要的。该算法在格拉斯哥比特森西部苏格兰癌症中心的真实MRI数据上得到了验证。
论文的其余部分组织如下。第二节介绍了一种新的用于HNC分割的深度神经网络。第三节展示了在真实MRI数据集上的实验结果。最后一部分对论文进行了总结。

U-Net with broader view

所提出的头颈部肿瘤分割网络如图2所示。这一部分将从三个方面介绍所提出的网络：a)U-net结构，b)扩张卷积，c)Dice Loss。

图2.提出的神经网络的体系结构。每个方框代表一个多通道要素地图，白色和蓝色方框一起用来显示要素地图的合并(拼接)。通道的数量在框的顶部表示。竖排文本‘mxn’表示要素地图的XY大小。箭头表示不同的操作。

U-net: biomedical image segmentation network(生物医学图像分割网络)

卷积神经网络(CNN)具有很强的特征提取能力。通过结合卷积层和完全连通层，CNN显示了它在图像识别和分类方面的能力[10]。最近，许多基于CNN的网络在图像分类方面进行了最先进的表演[11，12]。与图像分类不同，语义分割任务需要检测目标位置，并对图像中的每个像素进行分类。在[13]中，建立了一个用于端到端、像素到像素的语义分割的“完全卷积”网络(FCN)。FCN在收缩(下采样)和扩展(上采样)路径之间使用跳跃连接，从而将来自深层、粗层的语义信息和来自浅层、细层的外观信息相结合，以提高分割性能[13]。UNet[14]利用了FCN的结构，而深层和浅层特征是使用连接而不是相加来组合的。U-net在医学图像分割中得到了广泛的应用，如[15，16]。

本文提出了一种类似于U-Net的神经工作结构。如图2所示，在所提出的体系结构中有两条主要路径：一条是从左到右的顶行的收缩路径，另一条是从右到左的底行的扩展路径。在收缩路径中，特征地图的xy大小在减小，而通道(z大小)在增加，这里提取不同尺度的特征。在扩展路径中，特征图被上采样到输入图像的原始分辨率，以完成像素到像素的分割。收缩路径中存在级联，它融合了从正常卷积和膨胀卷积中提取的特征。此外，在收缩路径和扩展路径之间使用级联，以便将高分辨率特征馈送到上采样输出，从而提高精度。
该网络共有31层卷积层，该模型可以在以后的工作中进一步压缩。本工作的目的是将多尺度特征提取方法引入到UNET中，利用膨胀卷积来提高U网在头颈部肿瘤分割中的性能。膨胀卷积将在下一节中介绍。

Dilated convolution for larger context view

在深度神经网络中，卷积和池化的一个显著优势是对区域和多尺度信息进行编码。然而，使用较大的感受野来获取非局部特征也存在缺点，使用小尺寸的卷积需要多个层，或者使用大尺寸的卷积需要大量的参数。此外，即使合并图层也有助于提取多尺度信息，但会降低要素的分辨率。因此，在[17]中，引入了膨胀卷积来聚合多尺度上下文信息，而不会丢失分辨率或覆盖范围。
图3显示了正常卷积和扩张卷积之间的区别。可以看出，使用相同数目的参数(例如，3×3)，扩展卷积可以具有图像中的上下文信息的更广泛视图。如图2所示，在所提网络的收缩路径中，同时使用膨胀卷积和正常卷积来获得多尺度特征。并对提取的多尺度特征进行级联，提高网络性能。

图3.正常的3x3卷积核和膨胀率为(3，3)的3x3扩展卷积核的比较。核心权重在红点上，蓝色区域代表接受野。在(a)中，3x3内核的接受范围为3x3。在(b)中，扩张的核可以有7x7的接受野。

Dice loss for classes balance

深度神经网络训练中使用的损失函数有多种。损失函数取所有等权重的类(如交叉熵)不适用于头颈部肿瘤分割任务。这是因为在头颈部图像中，肿瘤区域(前景)与整个图像相比很小，但它最重要；而背景占据了头颈部图像中的大部分区域。因此，在[18]中引入Dice损失来解决前景和背景类之间的不平衡。Dice损失采用Dice系数得分(DSC)[19]的概念，DSC衡量的是两个样本之间的相似性。预测（分割）和真实标签之间的DSC可以是，

其中P表示预测标签，T表示真实标签。这样一来，Dice loss将会是，

DSC更重视真阳性(前景)，而不重视真阴性(背景)，因此肿瘤和非肿瘤类别之间的不平衡被最小化。

Experimental Results

新算法在Matlab中实现，运行在配备16G RAM、3.2 GHz Intel®Core™i7-8700 CPU和NVIDIA GTX 1070 GPU的PC上。实验是在比特森西苏格兰癌症中心的真实核磁共振数据集上进行的。本研究共使用17例患者的163幅图像(2D切片，切片间距约3 mm)。真实标签是由Beatson的临床医生提供的共识手册描述。
这项工作是用Kera实现的，使用ADAM[20]进行优化。数据增强包括旋转(0.2范围)、水平(0.05)和垂直(0.05)方向移动、剪切(0.05)、缩放(0.05)和翻转(水平)，以提高注释数据的使用效率。此外，使用批归一化[21]来改进学习过程。163幅图像被分成具有0.3、0.3和0.4比例的三个子集，记为{S1、S2、S3}。在验证1中，S1和S2用于训练，S3用于测试；验证2，S2和S3用于训练，S1用于测试；最后，验证3，S1，S3用于训练，S2用于测试。交叉验证的平均DSC如下表所示。

实验结果表明，该方法在HNC切分上达到了约0.644的Dice得分，比原U-Net提高了约0.05%。图4中显示了一些分割比较。由于U-Net也是用Dice Lost训练的，以获得更好的处理这些不平衡数据的性能，并且U-Net和所提出的方法使用相同的增广设置，因此DSC的改进应该主要从收缩路径中增加的膨胀卷积层开始。糟糕的结果可能来自有限的数据量和严重的伪影(照度不均匀等)。在部分数据中。在这项工作中，数据和标签是独立的2D切片，切片之间的间隙约为3 mm，因此到目前为止只进行了2D工作。对于三维体的提取，可以通过两种方法来实现：对二维结果(等高线)进行插值，生成三维网格；或者，首先对数据和标签进行插值，然后设计三维卷积网络。这些都将在以后的工作中进行探索，并与2D工作进行比较。

Conclusion

本文提出了一种新的深层神经网络用于头颈部肿瘤的T1WI增强头颈部MR图像的语义分割。实验结果表明，该方法在真实的MRI数据集上效果良好。在真实数据上的实验结果表明，该网络可以分割出大部分肿瘤区域，并且在HNC分割上优于U-Net。
未来，该方法将在更多的MRI数据集上进行测试。提出的网络结构将进一步修改，以增加DSC。此外，还将探索更多的数据增强方法，以提高网络在少量数据上的性能。并且，可以应用医学图像伪影的预处理来提高性能。最后，这项工作可以在未来扩展到3D。