3D Context Enhanced Region-based Convolutional Neural Network for End-to-End Lesion Detection

摘要：从计算机断层扫描(CT)中发现病变是一个重要但困难的问题，因为非病变和真实的病变可能出现类似的情况。3D环境对这一区分任务很有帮助。然而，现有的卷积神经网络端到端检测框架大多是针对二维图像设计的。在本文中，我们提出了一种基于3D上下文增强区域的CNN (3DCE)，通过聚合二维图像的特征图，有效地融合三维上下文信息。3DCE在训练和推理方面易于训练和端到端。开发了一种通用的基于deeplesion的病灶检测算法,实验结果证明了3DCE的有效性，已经发布了3DCE的代码。

一、楔子

       自动检测病灶很重要，3d信息有帮助，但是目前普遍 的CNN是为2D图设计，因此设计一个3D情景的卷积是有必要的。

       Liao把RPN扩展到了3D情景下，但3D cnn非常占内存，把一个样本放进GPU内存中都很困难。另外，3D框的标注更难，这造成使用3D RPN来进行稀疏训练数据。本文提出了一种基于三维上下文增强的区域CNNs (3DCE)，将三维上下文集成到二维区域CNNs中。将多个相邻切片分别发送到二维检测网络中生成特征图，然后将特征图聚合起来进行最终预测。为此，我们改进了基于区域的全卷积网络(R-FCN)[2]。3DCE具有许多优点:1)与2阶段候选生成+ FPR方法相比，3DCE在训练和推理方面更高效、端到端。2)它可以利用流行的2D CNN骨干和预先训练的权重，如VGG-16[11]。权重是从数以百万计的图像[3]中学习而来的，已知对转移学习[10]是有益的。相反，3D CNNs缺乏这样的预训练模型，必须从零开始训练。3) 3DCE只需要2D绑定框注释即可进行训练。与三维方法相比，它更容易获得大规模的训练数据，如放射科医生常规的病灶测量[12]。

       以往对病灶检测的研究多集中于特定类型的病灶，如肺结节、肝脏病灶等。虽然一些常见的类型得到了很多关注，但许多不常见但仍然具有临床意义的类型被忽视了。在本文中，我们将所提出的算法应用于深度[12]，这是一个大规模、多样化的病变数据集。它包含了超过32K二维的各种类型的病变注释。利用该数据集，我们开发了一种通用的病灶检测算法，在一个统一的框架下发现所有类型的病灶。将3D上下文与3DCE结合后，在具有挑战性的数据集测试集上，每张图像4个假阳性的病灶检测灵敏度从80.32%提高到84.37%，证明了3DCE的有效性。

二、方法

三、评价和分析

在实验过程中，我们注意到有时探测器会用一个大的地面真实边界框来识别较大或分散的病灶的较小部分。虽然IoU在这种情况下小于0.5，但检测结果仍然可以被视为真正的阳性(TP)，这也可以帮助放射科医生。为了克服这种评价偏差，我们利用检测到的边界盒面积比(IoBB)上的交集作为另一个标准。此外，由于DeepLesion基于放射科医生的书签，所以在测试集中缺少病灶注释，放射科医生通常只在日常工作中标记有代表性的病灶。因此，FP预测实际上可能是一个TP。我们邀请了两名经验丰富的放射科医生，在深度扫描的测试集中对300个随机切片上的所有病变进行重新注释。在300个切片中，ground-truth病灶的数量从305个增加到768个。我们还对全损伤测试集的算法进行了评估，结果如表2所示。在表2中，尽管有测试集和评估标准，3DCE仍然具有最好的准确性。使用IoBB计算的性能优于IoU。全病变组在4 FPs时的敏感性低于原深度组。深部病变只包括放射科医生认为在日常工作中可以测量的有代表性的病变，这些病变往往是主观选择。同时，对全病变组进行强化标记，包括所有异常。全损伤集合中的一些损伤是不可测量的或太小，因此训练集中不存在，影响了算法的性能。换句话说，新的注解降低了FPs的数量和灵敏度。推理时间如表2所示。改进后的R-FCN比基线更快的RCNN花费的时间要少得多(因为更快的RCNN需要在一个较厚的feature map上运行4个FC层)，同时仍然具有更好的准确性。3DCE的时间复杂度与输入切片的数量大致成线性比例，因为它为多个图像生成特征映射。然而,如果在体积数据上进行测试，这种额外的时间成本可以大大降低，因为相邻片的特征映射可以缓存和重用。2D候选生成+ 3D/2.5D假阳性约简(FPR)方法还测试了。该数据集上FPR分类器的精度不高有希望，这可能是由于小的类间差异(病变和非病变看起来非常相似)和大的类内差异(许多病变类型)的候选人。我们还设计了一个接收27个切片输入的3D CNN(与3DCE相同)，使用3D过滤器提取特性，并预测2D框片的关键。它是从改进的R-FCN改编而来，并从零开始训练。它的每幅图像4帧的灵敏度为79.7%，而3DCE的灵敏度为84.4%该3DCE与预先训练的权重和分解过滤器是优越的。样品检测结果如图3所示。有很多种在DeepLesion病变。(c)肺结节/肿块14例，结节/肿块10例被检测到(这两个FPs实际上是TPs，盒子更大)。在一个(d)腋窝肿大淋巴结3例，纵隔小淋巴结3例错误发现。探测器有时无法分辨放大的物体而正常淋巴结因其规模健壮。