每周一篇 文献阅读—paper2

文章链接：https://arxiv.org/pdf/1907.11320.pdf

译文

摘要

肺结节检测，减少假阳性和结节分割代表了胸部CT图像计算机分析中最常见的三项任务。最近，针对每个任务的提出的方法中基于深度学习的方法最受青睐。然而，训练深度学习模型以分别解决每个任务可能不是最优解决方案 — 资源紧张、且没有特征不能共享。在这里，我们提出了一种新的端到端3D深度卷积神经网络DCNN，称为NoduleNet，以多任务方式联合解决结节检测，减少假阳性和结节分割。为了避免不同任务之间的摩擦并鼓励功能多样化，我们结合了两个主要的设计技巧：(1) 用于结节检测和减少假阳性的解耦特征图，（2）用于提高结节分割精度的分割细化子网。 对大规模LIDC数据集的大量实验表明，与仅解决结核检测任务的基线模型相比，多任务训练非常有益，结节检测精度提高了10.27％。 我们还进行了系统的消融研究，以突出每个附加组件的贡献。

引言

肺癌在全世界的发病率和死亡率最高[3]。 肺结节的早期诊断和治疗可以提高患者的生存率。 计算机断层扫描（CT）已被广泛使用并证明对于检测肺结节是有效的。 然而，在CT扫描中手动识别结节通常是耗时且繁琐的，因为放射科医师需要逐片地读取CT扫描，并且胸部CT可能包含超过200个切片。 准确而精确的结节分割可以更深入地评估结节的形状，大小和变化率。 当发现结节时，通常需要在3-12个月内进行随访扫描以评估其生长速度[7]。 肺肿瘤的生长可能是恶性肿瘤的指标，准确的结节分割可用于测量结节的生长速度。

近年来，深度卷积神经网络已成为自动检测和分割肺结节的主要方法，并取得了巨大成功。 最先进的结核检测框架经常利用3D区域建议网络（RPN）[12]进行结节筛查[15,19,14,10]，然后使用3D分类器来减少假阳性[5,16]]。 虽然在[8]中也提出了单级探测器，但它们的命中标准与更常用的[14]不同。 此外，由额外分类器提供的细化可以校正由检测器产生的一些误差。 在结节分割方面，主要使用U-Net [13]和V-Net [11]类结构[17,18,1]。 在实践中，用于肺结节检测和分割的计算机辅助诊断（CAD）系统通常由几个独立的子系统组成，分别进行优化。

完全独立地处理每个任务是有一些限制的。 首先，训练几个深度卷积神经网络是耗时且耗资源的。 尽管每个组件的设计目的不同，但它们共享提取肺结节特征表示的通用过程。第二，整个系统的性能可能不是最佳的，因为单独训练几个系统会阻止彼此之间的通信和内在的特征表示的学习。直观地说，结节的分割掩模应该为神经网络学习区分特征提供强有力的指导，从而提高结节检测的性能。

虽然多任务学习（MTL）和特征共享为组合不同任务提供了有吸引力的解决方案，但是不成熟的实现可能会导致其他问题[4]。首先，由于定位和分类的目标不匹配，如果使用相同的特征映射图执行这两个任务，得到的结果很可能是不是最优的。其次，大的感受野可能会整合来自图像其他部分的无关信息，这可能会对结节的分类产生负面影响和混淆，尤其是小结节的分类。 [4]通过解耦定位和分类来解决自然成像中的问题。但是，在不共享任何特征提取bakbone的情况下完全分离这两个任务，虽然可以防止两个网络之间的串扰，因此可能不是最有效的。因此，提出了一种解耦方法来减少假阳性，即从特征提取主干的早期尺度中汇集特征，以解决该问题，这允许同时学习与任务无关和与任务相关的特征。

在这里，我们提出了一个新的端到端框架，称为NoduleNet，用于联合解决肺结节候选筛查，减少假阳性和结节分割。 NoduleNet由三部分组成：结节候选筛选，减少假阳性和分割细化（图1）。 这三个组件共享相同的底层特征提取骨干网，整个网络以端到端的方式进行训练。

图1：NoduleNet概述。 NoduleNet是肺结节检测和分割的端到端框架，由三个连续阶段组成：结节候选筛选，假阳性减少和分割细化。 k是锚的数量。 FC是完全连接层的缩写。

我们的主要贡献总结如下：

• 我们提出了一个统一的模型，在单一框架内集成了结节检测，减少假阳性和结节分割三个任务，以多任务方式训练端到端。
• 我们证明了模型的有效性，与仅用于结节检测的基线模型相比，结节检测精度提高了10.27％，并且在Dice-Srensen系数（DSC）上实现了最先进的结节分割精度83.10％）。
• 我们进行系统消融研究，以验证NoduleNet的几个设计技巧的贡献，包括解耦特征图，分段细化子网和多任务训练。

NoduleNet

结节候选筛选（NCS）。为了生成候选结节，将3×3×3 3D卷积层应用于特征图（图1中的特征图4），然后是两个平行的1×1×1卷积层，以生成分类概率以及与特征图上每个体素上的每个锚相关联的六个回归项。 锚是一个3D框，需要六个参数来指定：中心z-，y-，x-坐标，深度，高度和宽度。 我们选择了尺寸为5,10,20,30和50的立方体作为这项工作的5个锚点。 然后，我们最小化与[12]相同的多任务丢失函数。

解耦减少假阳性。与[12]中使用相同的特征图的池化特征进行分类的RPN不同。使用耦合特征图进行学习可能导致两个任务都达不到最优解。相反，我们使用3D感兴趣区域（ROI）池化层来从具有小感受野（down 4）的早期特征图中采集特征。 这不仅确保减少假阳性网络具有小的感受野，并且可以学习与候选结节筛选网络显著不同的特征表示，而且还允许共享一些特征提取块。 与NCS相同，减少假阳性的网络最小化损失函数中的多任务。

分割细化（SR）。如图1所示，分割是在与原始输入CT图像相同的比例下进行的，通过逐步向上采样裁剪的高级特征图（特征图4），并将其与低级语义强特征连接起来。

这种方法与[6]中提出的掩模分支有根本的不同。 在[6]中，作者仅使用下采样的特征图进行分割，然后将预测的模板重新调整回原始图像比例，但是由于边界框回归误差和更精细的局部特征的丢失，精度可能会下降。

另一个优点是，只有具有结节的区域被上采样到原始图像比例，其仅占整个输入图像的小区域。 与在[11]中将整个特征图上采样到原始输入比例相比，这节省了大量的GPU内存，使得训练和测试期间输入整个体素是可行的。

分段细化网络最小化预测掩模集{m}和输入图像的GT掩模集{g}之间的Dice损失。

结果

数据和实验配置。我们使用LIDC-LDRI [2]来评估NoduleNet的性能。 LIDC-LDRI是一个用于研究肺癌的大型公共数据集，其中包含从多个切片厚度的多个部位收集的1018组CT扫描。 在该数据集中，直径等于或大于3mm的结节具有由最多四位放射科医师概述的轮廓。 我们只包括那些符合LUNA16 [14]选择标准的CT扫描。 如果由两个放射科医师提供的两个分割掩模具有大于0.4的并集交叉（IoU），则我们认为这两个掩模指的是相同的结节。 我们认为至少有4名放射科医师中有3名注射了结节，因此总共进行了586次CT扫描，共有1131个结节。 请注意，由于入选标准不同，本作品中包含的CT扫描和结节数量可能与以前的工作[17,18,1]不同。

采用了六折交叉验证以证明NoduleNet的性能。 实验中的所有模型均使用随机梯度下降（SGD）训练，初始学习率为0.01，动量为0.9，l2罚分为0.0001，为200个时期。 学习率预期在100次迭代后降至0.001，在另外60次迭代后降至0.0001。

采用自由响应接收器工作特性（FROC）[9]分析来评估结节检测的性能。 我们使用了与LUNA16 [14]相同的命中标准和竞争绩效指标（CPM）。 联合交叉（IoU）和Sørensen-Dice系数（DSC）用于评估结节分割的性能。

结节检测性能。为了完全验证和理解我们的上述假设，我们使用不同的网络架构和设计选择进行了广泛的实验。我们使用N1表示仅具有NCS分支的网络，N2表示同时具有NCS和FPR分支的网络，并且N3表示具有所有NCS，FPR和SR分支的网络。 Fc表示建立在与NCS相同的特征映射上的FPR分支，而Fd表示建立在前一节中提到的解耦特征映射上的FPR分支。 R表示训练数据通过xy平面旋转进行额外增强。 NCS表示来自NCS分支的预测概率，FPR表示来自FPR分支的预测概率，FU表示来自NCS和FPR的预测概率。请注意，N1是广泛使用的用于结节检测的3D RPN [15,16,19,10]，它是评估每个添加组分性能的强基线。结果总结在表1中。

LIDC数据集上不同方法基于六折交叉验证的CPM。 显示的是结节检测灵敏度（单位：％），每列表示每次CT扫描的阈值误报率（FPs / scan）。 最后一列表示七个预定义FP /扫描阈值的平均灵敏度。

如表1所示，通过添加分割细化网络（N3），每个患者的8个假阳性的灵敏度具有1.0％至1.5％的一致改善，这证明了使用添加额外的结节分割信息的有效性。

相比使用耦合假阳性的NoduleNet（Fc），使用解耦减少假阳性的NoduleNet（Fd）的平均灵敏度提高了约3％至4％。此外，通过在数据增强（R）中添加旋转，FPR分支的性能进一步提高了约2.5％，而NCS分支的性能保持几乎相同。 这验证了我们的假设，即分类应该学习不变特征，而定位可以学习协变特征。这些发现证明了解耦模块的重要性，这些模块本质上是在学习不同的任务。

通过融合NCS和FPR的预测概率，性能持续提高0.7％-1.0％，表明结合来自不同级别的上下文信息的分支的预测是重要的。 通过增加误报减少和分割细化网络，相应地改善了基线检测器（NCS）的性能，显示了多任务学习和特征共享的有效性。

总之，NoduleNet的性能优于基线单级探测器的10.27％。 请注意，由于不同的结节选择标准以及训练和测试数据分割，LUNA16中报告的性能可能无法与此工作直接比较。 此外，这项工作的重点是结节检测和分割的联合学习，而LUNA16只关注结节检测。

结节分割性能在表2中，我们将NoduleNet的分割性能与在LIDC数据集上训练和测试的其他基于深度学习的方法进行了比较[17,18,1]。 NoduleNet在DSC上的表现优于先前基于深度学习的方法0.95％，无需为结节分割训练单独的专用3D DCNN。 我们随机选择了几个结节来显示分割质量（图2）。

结论

在这项工作中，我们提出了一种新的端到端3D DCNN，名为NoduleNet，用于联合解决肺结节检测，假阳性减少和分割。 我们进行了系统分析，以验证架构中每个组件设计背后的假设和直觉。 LIDC数据集的交叉验证结果表明，我们的模型在结节检测上获得了87.27％的最终CPM得分，在结核分割上达到了83.10％的DSC得分，代表了该数据集的当前最新技术水平。 这里介绍的技术是通用的，可以很容易地转移到其他模型。