Hecktor2020第五名：Iteratively Refine the segmentation of head and neck tumor of FDG-PET and CT Images

Iteratively Refine the segmentation of head and neck tumor of FDG-PET and CT Images
Hecktor 2020 第五名

Abstract

在本文中我们通过融合pet和ct图像的信息提出了一个头颈癌肿瘤自动分割的网络架构。在这个架构中，多个3D Unets一个一个地训练。上面模型的预测和特征图将作为下一个模型的附加信息来进一步提升分割。实验表明迭代地提升优化可以提高分割表现。我们在HECKTOR2020的数据集上评估我们的网络框架，并获得了第五名的成绩，我们的DSC，precision和recall分别是0.7241,0.8479,0.6701。

Introduction

用大量图像的二进制标注来预测疾病特征的放射学，已经表现出优化病人护理的巨大潜能。特别地，放射学是一个重要的头颈癌肿瘤的风险评估策略。对于头颈癌的放射学分析，需要昂贵且容易出错的感兴趣区(ROI)人工注释过程，使得在大队列上的验证难以实现且重复性差[2]。因此，迫切需要一种自动分割H&N肿瘤的算法。
为了获得优秀的放射组学算法，组织了HECKTOR2020的挑战，这是MICCAI2020的一部分，以确定在H&N初级肿瘤分割的背景下利用丰富的双模信息的最佳方法[1]。在这个挑战中，CT图像和PET图像都被提供来获得大体肿瘤体积的勾画。
近年来，在医学图像分析中，结合双模态或多模态信息来实现多器官和病变的分割被广泛研究[9，11，12]。Chen等人在[3]中提出了一种融合多模态MRI(T1、CET1和T2)分割鼻咽癌的框架，在该框架中，设置多个编码器从每个模态图像中获取特定模态的特征，并构建解码器来学习综合特征和跨模态之间的依赖关系。
对于PET-CT图像中的自动分析问题，在不同任务中提出了几种方法，包括肺癌分段[6,7,14] 和病变检测[8]。然而，正常问题和病变之间的低对比度和肿瘤的大小和形状的大变化使得实现肿瘤的准确自动分割仍然是一个挑战。同时，仍然需要如何有效地熔断PET-CT的双模态信息。
为了解决这些问题，我们提出了一个基于深度学习的框架来迭代改进预测。该框架由多个3DUnet[10]构成。而上游网络的内嵌特征和预测将被捕获并馈送到下一个网络中进行进一步的改进。我们参加了HECKTOR2020的挑战，以评估我们的方法，并跻身于最好的得分团队之列。

Method

我们的方法是图1中展示的一步一步提升优化的架构。主要目的是通过迭代优化不停地提高结果。这个架构一共有三步，第一步分割，直接从原始图像获得预测结果，第二步分割和第三步分割，通过重用上面模型中的信息进一步优化分割结果。另外，原始的CT和PET图像首先会被拼接（concat ）来融合双模态信息然后输入到第一个Unet中来获得原始结果。然后，这些结果和嵌入特征图（也就是图1中的1_1，1_2等等）会在第二步的Unet中使用来进一步获得更好的预测结果。类似的，第三步分割会重新利用上面两个模型中的结果和特征图。

Network Architeture

我们的3D Unet的结构在表1中，其中的 D，H，W分别是特征图的深度，高度和宽度。编码器是有四个编码器块组成的，每个编码器块由两个卷积块组成，每个卷积块的内容先是卷积层，然后是Instance normalization和ReLU。在每一个卷积块后面，有一个maxpooling layer来降采样特征图，它的kernel size是2x2x2，stride是2x2x2。在解码器部分，设置了四个解码器块来融合高层次和低层次的特征图。基础的解码器块也是有两个卷积块组成，然后在每一个解码器块之前有一个deconvolutional layer来上采样特征图。

图1.该框架的插图。该方法包括三个步骤：(1)步骤1分割：将PET和CT拼接并送入3D-UNET，该3D-UNET包含4个编码块和4个解码块。(2)步骤2-分割：在步骤1-分割结果的基础上进一步细化预测，在此阶段重用步骤1的嵌入特征和输出。(3)第三步–分段：这一步类似于第二步，这一步再次利用了上游模型的特征和输出。

同时，编码器和解码器相应的特征图会通过跳跃连接层进行连接来拼接（concat）高层次和低层次的信息。最后有一个由Sigmoid函数激活的卷积层来生成0到1之间的概率值。

Iteratively Refine the Results

迭代优化的目的是基于先前的模型重复地获得更好的结果。正如图1所展示的，CT和PET首先会被concat然后输入到第一步分割中的Unet来获得初始结果。完成第一步之后，解码器的嵌入特征图和结果会被作为第二部的附加输入。在第二步分割中，所有的CT和PET图像以及第一步的结果会被concat来作为输入。同时，阶段一中获得的嵌入特征图会被加到相应的新特征图上来融合信息。类似的，在阶段三，上面模型的所有的特征图和结果将会作为这个新模型的附加信息。

Training Details

Loss Function
Dice loss是我们模型的优化函数，Dice loss定义为

其中，分母和分子末尾的部分设为1来防止除以0。p是预测概率，g是ground truth。
Training：
该框架中的这三个UNet是逐个训练的。具体地说，步骤1-分割的UNET将是首先使用Dice loss进行训练。然后，该模型将被冻结，输入将通过它来获取步骤2的附加信息。类似地，当训练步骤3的模型时，之前的两个模型都将被冻结，以便在此阶段获得新的3D-UNET的附加信息。

Experiments

Dataset
HECKTOR 2020挑战赛提供了四个中心的201个案例作为训练数据，另一个中心的53个案例作为测试数据。所有图像均由专家标注肿瘤区域的基本情况，并为每个病例提供144×144×144 mm^3的边界框来表示感兴趣区。
Preprocessing
CT值和PET值分别被裁剪(限制)到[−250,250]和[0，25]。同时，通过最小-最大归一化将CT和PET归一化为[−1，1]。对于CT和正电子发射计算机断层扫描的采样，我们将Z轴的目标间距保持为原始CT的Z轴间距，而X轴和Y轴的目标间距均设置为0.97656 mm。利用了SimpleITK的最近邻重采样。此外，还应用了从−15到15的XY平面上的随机垂直翻转和随机旋转。
Implementation Details
ADAM[5]作为网络训练的优化器。学习速率设置为10−3，总的epoch为50。同时，我们从训练数据中拆分出20个案例作为验证数据。在验证集的帮助下，如果验证损失在连续5个epoch内没有下降，则可以将学习率调整到一半。

Results

Evaluation Metric

Dice Similarity Coefficient（DSC）：
Dice相似系数的取值范围为0~1，用来评价预测与ground truth的重叠率。DSC公式如下：
结果越好，DSC越大。

Experimental Results

不同阶段验证数据的DSC如表2所示，其中，第二步和第三步的DSC分别提高了0.98%和0.33%。结果表明，迭代求精可以不断提高基于H&N的肿瘤分割性能，在测试数据上，我们的方法获得的平均分割精度、准确率和召回率分别为0.7241、0.8479和0.6701。

Conclusion

在本文中，我们提出了一种迭代细化头颈部肿瘤分割的框架。在该框架中，构建了三个分割网络，并逐个进行训练。为了实现迭代求精，上游模型的特征和结果将成为下一步的补充信息。通过对验证数据的评估，验证了该框架的有效性。在测试数据上评价我们的方法时，我们获得了第五名。