【MICCAI2018论文翻译】使用集成的3D U-Net分割脑肿瘤和放射特征预测总生存率

原文移步：https://arxiv.org/ftp/arxiv/papers/1812/1812.01049.pdf

源代码移步：https://github.com/xf4j/brats18

摘要：多模态MRI扫描对胶质瘤不同子区（包括瘤周水肿、坏死核心、增强和非增强肿瘤核心）的精确分割，对脑肿瘤的诊断、预测和治疗具有重要的临床意义。然而，由于肿瘤外观和形状的高度异质性，子区域的分割非常具有挑战性。最近使用深度学习模型的发展证明了它在过去几个脑分割挑战以及其他语义和医学图像分割问题中的有效性。脑肿瘤分割中的大多数模型使用2D/3D patch来预测中心体素的类标签，并使用不同的patch大小和尺度来提高模型的性能。然而，它的计算效率低，感受野也有限。U-Net是一种广泛应用于端到端分割的网络结构，可用于整个图像或提取的patch，在整个输入体素上提供分类标签，从而更高效，期望在较大的输入尺寸下获得更好的性能。此外，我们在不同的数据集或不同的超参数上训练多个模型的集合，而不是选择最佳的网络结构，通常可以提高分割性能。本研究提出了一种不同超参数的3D U-Nets集和进行脑肿瘤分割。初步结果表明，该模型是有效的。此外，我们利用提取的影像和非影像特征建立了一个生存率预测的线性模型，该模型虽然简单，但可以有效地减少过拟合和回归误差。

关键词：脑肿瘤分割；集成；3D U-Net；深度学习；生存预测；线性回归

1 引言

胶质瘤是最常见的原发性脑恶性肿瘤，具有不同程度的侵袭性、不同的预测和不同的组织学子区，即瘤周水肿、坏死核心、增强和非增强肿瘤核心。胶质瘤的内在异质性也在其影像学表现型中表现出来，反映了肿瘤生物学的差异，因为其子区由不同强度分布在多模式MRI（MMRI）扫描中的图像来描述。定量分析成像特征，如测量肿瘤区域手动/半自动分割后的体积，显示了基于图像的肿瘤表型优于传统的临床测量，如主观选择切片上最大的前、后、横向和上下肿瘤尺寸。这种表型可以评估反映的生物过程，并协助手术和治疗计划。为了对比和评估不同的自动分割算法，多模态脑肿瘤分割挑战（BRATS）2018采用多机构术前MRI扫描对内在不均匀的脑肿瘤子区进行分割。更具体地说，该挑战中使用的数据集包括多个机构临床所需的胶质母细胞瘤（gbm/hgg）和低级胶质瘤（lgg）的术前多模式MRI扫描，包括a）原生（t1）和 b）对比后T1加权（t1gd）、c）t2加权（t2）和 d）液体衰减反转恢复（flair）体积。285例标有GD增强肿瘤、肿瘤周水肿和坏死和非增强肿瘤的训练集。此外，为了明确这项分割任务的临床相关性，BraTS18还包括根据图像预测患者总体生存率以及患者年龄和切除状态的任务。为了解决这两个问题，本研究以两个目标进行：1）提供三个子区域和背景的逐像素标签图；2）估计存活天数。

基于卷积神经网络（CNN）的模型已经证明了其相对于传统医学图像分割算法的有效性和优越性，并迅速成为BraTS挑战的主流。由于脑肿瘤外观和形状的高度异质性，通常会提取小patch来预测中心体素的类别。为了提高模型性能，模型[7]中经常使用具有不同感受野（一个特征点在Input上所关注的特定区域）大小的多尺度patch。相比之下，U-NET是一种广泛使用的卷积网络结构，它由一个捕获上下文（全局特征）的收缩路径（缩小图像尺寸）和一个对称的扩展路径组成，可以通过3D扩展（上采样）实现精确定位（局部特征）。它可以用于整个图像或提取的patch，以便在使用padding时为所有输入体素提供类标签（不是很懂？待考究）。此外，由于平均效应（average effect）的存在，多个模型集合在不同的数据集或不同的超参数上进行训练，而不是选择最佳的网络结构，通常可以提高单个模型的分割性能。在本研究中，我们提出一种含有不同超参数的3D U-Nets集合，在非均匀提取的patch上训练，用于脑肿瘤分割。在测试过程中，使用滑动窗口方法预测具有可调重叠的类标签（what？），以提高准确性。利用分割标签，我们将利用提取的成像特征和非成像特征建立一个生存预测的线性模型，因为线性模型可以有效地减少过拟合，从而减少回归误差。

2 方法

对脑肿瘤分割任务，我们的方法步骤包括：图像预处理，提取patch，使用具有不同超参数的通用3D U-Net结构训练多个模型，部署每个模型进行全体积预测和最终集成模型。对预测任务，包括：特征提取，模型拟合，和部署。详情如下。

2.1 图像预处理

为了补偿磁共振的不均匀性，将基于N4ITK的偏置场校正算法应用于T1、T1GD、T2和FLAIR图像。对线圈灵敏度变化引起的光滑不均匀场进行了估计和补偿。然后采用非局部均值去噪的方法来降低偏差校正后的噪声。ITK上的实现与Nipype中的python包一起使用。基于python的多线程并行执行用于加速这两个步骤。处理后的图像被存储起来以备将来使用。图1显示了原始T1图像（左）、仅进行偏压校正的图像（中）和进行偏压校正和去噪的图像（右）。该方法提高了图像的信噪比，有助于提高图像的分割精度和抗噪声能力。

由于磁共振图像没有标准的像素强度值，为了减少不同对比度和不同受试者的影响，通过减去最小值并除以像素强度范围，将每个3D图像分别标准化为0到1。归一化后，对每一个对象，将所有对比度的图像融合成最后一个尺寸，使整个输入图像尺寸变成155x240x240x4。

2.2 非均匀patch提取

为了简单起见，我们将使用前景来表示所有肿瘤像素，使用背景来表示其余像素。直接使用整个图像作为3D U-net的输入有几个挑战：1）中等GPU的内存通常为12 GB，因此为了使模型适合GPU，网络需要大大减少特征和/或层的数量，这通常会导致性能显著下降，因为网络的表现力大大降低；2）训练时间将大大延长，因为更多的体素有助于计算每一步的梯度，并且在优化过程中不能按比例减少步数（why？）；3）由于背景体素在整个图像中占主导地位，类不平衡会导致模型在训练时聚焦在背景上，如果训练时用均匀损失，则容易出现假阳性，如果训练时用加权损失，则有利于前景体素。因此，为了更有效地利用训练数据，从每个受试者身上提取较小的patch。由于前景标签包含更多的可变性，并且是要分割的主要目标，因此应该从前景体素中提取更多的patch。

在实验中，在每个epoch，使用非均匀概率从每个受试者中提取一个随机patch。首先通过去除边缘来计算有效的patch中心，以确保每个提取的patch完全在整个图像中。使用下式计算每个有效patch中心p的概率：

其中，最大强度小于1%的所有体素的s=1，所有前景体素的s=6，其余的s=3。然后根据计算的概率随机选取patch中心，提取相应的patch。由于正常的大脑图像是沿着左右方向对称的，所以补丁提取后沿着这个方向随机翻转。未应用其他增强。

在训练前，通过运行400次提取过程，计算出提取patch的每个输入通道平均值和标准偏差（不懂），每次使用随机选择的训练对象。然后用平均值减去提取的patch，并除以每个输入通道的标准偏差。

2.3 网络结构和训练

通常，采用3D U-Net的基本网络结构，如图2所示。零填充（same）用于确保输出的空间维度与输入相同。对于每个编码块，使用一个具有两个连续的3d卷积层（内核大小为3）的类似VGG的网络，然后使用激活函数和批处理规范层。参数直线函数（prelu），如下所示：

与可训练参数一起作为激活函数。和传统的U-Net结构一样，每个编码块的空间维度被分成一半时，特征数量增加一倍。为了提高网络的表达能力，在第一个编码块中使用了大量的特征。在最后一个编码块之后添加了比率为0.5的dropout。对称解码块与相应编码块通过skipconnections连接。与反卷积得输出进行特征融合。将提取的输入patch分割图扩展到多类ground truth标签（3个前景类和背景）。以加权/非加权交叉熵作为损失函数。

 

在构建多个模型时，选择编码/解码块的数量、丢失函数中的权重和patch大小作为可调超参数。由于内存限制，对于较大的patch，需要减少特征的数量。在目前的实验中，由于计算资源的限制，训练了六个模型，具体参数如表1所示。N表示输入大小，M表示编码/解码块的数量，f表示第一层的输入特征。对于加权损失，1.0用于背景，2.0用于每类前景体素。

在12Gb的Nvidia Titan Xp GPU上训练。迭代640次。如前所述，在每个epoch，每个受试者只提取一个patch。每个epoch都随机打乱受试者顺序。使用Tensorflow架构和Adam优化器。训练期间批次大小设为1。在测试期间，由于较小的批大小对运行统计信息非常敏感，所以所有批规范层都不使用运行统计信息，而是使用批本身的统计信息。这通常被称为层规范化，因为它使用自己的平均值和标准偏差对每个特征映射进行规范化。在训练期间，学习率为0.0005，无需进一步调整。总训练时间约为60小时。