论文翻译：SC-Dynamic R-CNN: A Self-Calibrated Dynamic R-CNN Model for Lung Cancer Lesion Detection

本文链接：https://blog.csdn.net/JieBao11/article/details/134305389

标题

SC-Dynamic R-CNN: A Self-Calibrated Dynamic R-CNN Model for Lung Cancer Lesion Detection

SC-Dynamic R-CNN：一种肺癌病变检测的自校准动态R-CNN模型

作者

Xun Wang ,1 Lisheng Wang,1 and Pan Zheng 2
1 China University of Petroleum, China
2 University of Canterbury, New Zealand

Abstract

肺癌具有复杂的生物学特性，恶性程度高。它一直是癌症中的头号“杀手”，威胁着人类的生命和健康。肺癌的诊断和早期治疗仍需改进和进一步发展。由于其高发病率和高死亡率，迫切需要一种准确的诊断方法。然而，现有的计算机辅助检测（CAD）系统流程复杂，检测精度低。为了解决这一问题，本文提出了一种基于动态区域卷积神经网络(dynamic R-CNN)的两阶段检测方法。

我们将肺癌分为鳞状细胞癌、腺癌和小细胞癌。通过在特征网络中加入自校准的卷积模块，我们提取了更丰富的肺癌特征，并提出了新的回归损失函数，进一步提高了肺癌的检测性能。经过实验验证，该模型在肺癌数据集上的mAP (mean average precision)可以达到88.1%，并且在交并比IoU (intersection over union)阈值较高的情况下表现尤为出色。该方法对肺癌的检测有较好的效果，可以提高医生的诊断效率。它可以在一定程度上避免误检和漏检。

1. Introduction

癌症是世界上人类死亡的第二大原因，其死亡率和发病率逐年上升。根据世界卫生组织(WHO)的数据，2018年，癌症已导致960万人死亡，肺癌排名第一，死亡人数为176万人。与其他癌症相比，肺癌的生物学特性非常复杂，发病时间短，恶性程度高，这使得肺癌仍然是癌症的头号“杀手”[2,3]。发病率和死亡率高的主要原因是肺癌的诊断和治疗方法仍处于早期阶段，因此对肺癌的诊断方法进行细化和改进迫在眉睫。

目前，组织病理学检查是肿瘤病理诊断的标准，只能通过手术切除或穿刺活检等组织标本进行。然而，获得的组织标本是侵入性的，容易受到标本取样的影响。为了辅助诊断医生的工作，提高癌症诊断的效率，计算机断层扫描(CT)[4]已广泛应用于医学图像的智能诊断，成为全面捕捉癌症特征的有力工具。计算机辅助检测系统大多采用支持向量机等机器学习算法，常用于肿瘤的检测和分类[5,6]。然而，它们通常受到元素定义时所做假设的限制，并且仍然存在过程复杂、基于经验的参数设置、依赖性强等缺点。例如，肺癌检测结果取决于分割结果的质量和提取特征的有效性。

近年来，人工神经网络特别是深度神经网络在智能医学的许多领域取得了显著的成就[7-9]。这种学习算法以大数据为驱动，从大量数据中挖掘规则，然后对未知现象进行分类和判断[10-16]。医疗数据的不断积累，为癌症的智能化筛查与诊断提供了有力的材料和工具。Zhang等[17]使用卷积神经网络提取深层特征，并与浅层特征结合，实现卵巢癌的分类。此外，Wu等[18]使用基于AlexNet的深度卷积神经网络实现了卵巢癌病理图像的分类，模型准确率达到78.2%。Tajbakhsh和Suzuki[19]使用人工神经网络和卷积神经网络对CT图像中肺结节的良恶性分类进行了测试，实验发现卷积神经网络在肺病变和肿瘤分类任务中的表现优于其他类型的人工神经网络。

随着智能医疗领域的发展，疾病的种类越来越多，疾病之间的病理关系也越来越复杂，因此对深度神经网络的要求也越来越严格。目前，深度学习领域主流的目标检测算法主要基于两种类型：第一种是单阶段检测算法，包括Yolo[20]和RetinaNet [21]；这些方法速度快但精度不高。Yolo系列作为单阶段算法的代表，运行速度很快。它将图像划分为大小相同的多个单元格，预测每个单元格的类别，并给出边界框的类别置信度。第二种是两阶段目标检测算法，如Fast R-CNN[22]、Faster R-CNN[23]、Mask R-CNN[24]。该算法的第一阶段以CT图像为输入，通过算法生成感兴趣区域。第二阶段是利用第一阶段的输出，进一步对边界框进行分类和回归。虽然两阶段目标检测算法的检测精度优于单阶段目标检测算法，但在训练过程中，高质量样本对网络的贡献明显较小。Zhao等[25,26]提出了基于Faster R-CNN的Cascade R-CNN网络，解决了目标检测中高质量样本对训练贡献较小的问题。通过级联R-CNN网络，为每个R-CNN网络设置不同的IoU阈值。这样，每个网络输出的精度都得到了一定程度的提高，并且之前的R-CNN网络的输出可以作为下一个高精度网络的输入。最后，网络的准确率会逐步提高。此外，为了解决训练过程中目标检测不平衡的问题，Pang等[27]提出了一种Libra R-CNN网络，该网络关注样本层、特征层和目标层的问题，通过整体平衡设计来解决不平衡问题。Zhang等[28]借鉴Cascade R-CNN的思想，提出了Dynamic R-CNN，进一步解决了训练过程中前后矛盾的问题。

除了网络的结构外，特征图提取的质量也极大地影响着目标检测的准确性。对于大多数计算机视觉任务而言，建立一种远距离依赖机制来提取特征图是很有帮助的。对远程依赖关系建模的一种方法是使用具有大卷积核窗口的空间池或卷积算子。一些典型的例子，如PSPNet[29]，使用不同大小的多个空间池算子来捕获多尺度上下文。有很多工作[30-32]使用大卷积核或扩展卷积进行长期上下文聚合。通过引入自适应响应校准操作，SCNet[33]在构建块中构建多尺度特征表示，大大提高了预测精度。

在这项研究中，我们研究的肺癌的组织学类型是腺癌、鳞状细胞癌和小细胞癌。前两种类型是非小细胞肺癌(NSCLC)的主要肺癌类型，占所有肺癌病例的85%至90%。小细胞癌占肺癌的10%至15%。不同肺癌类型所占的比例在客观上造成了采集到的图像数据的不平衡。为了解决其对SC-Dynamic R-CNN开发的影响，我们对数据进行了预处理。本实验研究的肺癌类型在医学实践中具有很高的意义和现实价值。

为了提高肺癌的检测精度，本文提出了一种新的基于Dynamic R-CNN[28]的肺癌检测算法。我们将收集到的数据集分为三类:腺癌、鳞状细胞癌和小细胞癌，并通过过采样方法对鳞状细胞癌和小细胞癌的数据进行放大。接下来，我们将SCNet[33]模块实现到Dynamic R-CNN网络中，以充分提取病灶特征。此外，我们提出了一个新的损失函数DBS L1 loss，进一步提高了高质量样本对训练的贡献。经过实验验证，与其他先进的算法相比，我们的算法在肺癌检测方面有很大的提高。

2. Materials and Methods

2.1 Materials

本文的数据集取自中国山东省的山东省立医院和山东省第三医院。数据集包括261例患者的34056张病理图像，病变位置由专业放射科医师标记。根据放射科医师的注释，我们选择了3442张有病变的肺癌图像。

选取的数据首先分为三类，分别是腺癌、鳞状细胞癌和小细胞癌。在本文中，我们使用“腺癌”、“鳞状癌”和“小细胞癌”来代表这三类。在肺癌的病理类型中，腺癌是最常见的，其他类型的数据很少，这导致了不同类型肺癌样本数量的不平衡。肺癌数据集分布如下:

图1显示腺癌2273例，鳞状癌845例，小细胞癌324例。为了更客观地训练模型，我们希望不同癌症类型的数据集具有相似的大小；因此，对于数据集较少的癌症类型，我们通过过采样方法扩展数据集的大小。值得注意的是，腺癌的数据样本数量约为鳞状癌的3倍，小细胞癌的8倍，因此后两种少数类数据集分别被过采样3倍和8倍，以匹配多数类即腺癌。

与传统的过采样方法不同，如随机过采样和合成少数派过采样技术(SMOT)，对于图像数据，我们可以使用图像处理技术，如翻转、剪切、旋转[35]的空间变换、伽马变换、直方图均衡化等方法来合成样本，以增强数据集[36]。图2显示了图像增强结果的示例。

2.2 Methods

我们提出了下一个在CT研究中实现鲁棒肺癌病变检测的新方法，该方法使用在我们的数据集上训练的Dynamic R-CNN。为了实现肺癌病变的准确检测，我们使用Dynamic R-CNN作为基准网络，并使用自校准的卷积来代替传统的卷积。除此之外，我们还提出了一种新的回归损失函数，它比Dynamic R-CNN中的损失函数更好。

我们首先简要概述该方法，然后详细描述其组成部分。为了使本文完整，我们描述了扩展方法的所有步骤。

2.2.1 Model 模型

图3显示了我们的方法的流程图。SC-Dynamic R-CNN网络的结构类似于Faster R-CNN[23]。它由两个模块组成。第一个模块是用来提取候选框的深度全卷积网络，称为区域候选网络(RPN)模块。RPN模块旨在检测单幅图像中的多个目标。第二个模块是检测器Box_Head，它使用上面所提到的候选区域。在Box_Head之后，有两个损失函数:分类损失函数和回归损失函数。但与Faster R-CNN[23]不同，SC-Dynamic RCNN可以在训练过程中自动调整标签分配标准和回归损失函数的形状，从而更好地利用训练样本。为了增强肺癌的特征表示能力，SC-Dynamic R-CNN在RPN模块中加入了SCNet[33]。除此之外，为了获得更好的肺癌检测结果，我们还对Dynamic R-CNN的损失函数进行了优化。

如图3所示，一开始，肺癌图像在训练阶段被调整为512 × 512像素。然后将调整后的图像送到区域候选网络(RPN)以获得候选区域。接下来，由Box_Head模块对候选区域进行分类和回归。最后将分类和回归结果输入到相应的损失函数中，并作为网络的参数更新。我们使用softmax损失函数作为分类损失函数，而回归损失使用我们新提出的损失函数，其细节将在下一节中描述。

为了更好地利用训练阶段的动态特性，SC-Dynamic R-CNN在第二阶段训练中使用了较低的IoU阈值来更好地适应这些不完美的候选区域(图3(a))。随着培训的进行，候选框的质量不断提高。因此，我们可以提高阈值，以便更好地利用它们来训练高质量的检测器，从而使网络在更高的IoU下具有更强的判别能力。动态标签分配公式如下:

这里的 $T_{now}$ 表示当前的IoU阈值。为了实现训练过程中候选区域分布随时间变化的动态特性，动态标签分配将根据候选区域的统计数据自动更新。具体来说，SC-Dynamic RCNN首先计算候选区域与目标真实区域之间的IoUs $I$ ，然后从 $I$ 中选择最大值 $K_{I}$ 作为阈值 $T_{now}$ 。随着训练的进行，候选区域与目标真实区域之间的IoUs $I$ 将逐渐增加，更新后的阈值也将逐渐增加。

此外，根据Dynamic RCNN[28]的结论，随着IoU阈值的提高，阳性样品的质量将进一步提高。因此，高质量样本的贡献将进一步降低，这将极大地限制整体性能。基于Dynamic R-CNN的方法，我们改进了它的回归损失函数，得到了更准确的结果，这将在下一节中描述。

2.2.2 DBS L1 Loss 损失函数

根据Dynamic R-CNN[28]的结论，随着样本质量的提高，其贡献会逐渐减小。因此，Dynamic R-CNN在Smooth L1损失函数的基础上增加了一个因子α。网络通过调整因子α的值来调整损失函数。随着因子α的增加，高质量样本训练的梯度会逐渐增大，因此对网络的贡献也会增加。Dynamic R-CNN的回归损失函数如下所示：

其中 $\alpha _{now}$ 会随着训练而减小，如图2所示。

但是损失函数还可以进一步改进。我们以Libra R-CNN[27]为参考，改进了Dynamic R-CNN损失函数，进一步提高了高质量样本对训练的贡献。改进后的DBS L1 loss计算公式如下:

其中b和C是常数，且它们的值受到因子α的约束

与Dynamic R-CNN[28]中的动态标签分配过程类似，DBS L1 loss首先获得候选区域与目标真实区域之间的回归标签E。然后，我们从E中选择最小值 $K_{\alpha }$ 来更新方程中的因子 $\alpha$ 。

如图4所示，随着DBS L1 loss因子 $\alpha$ 的不断减小，高质量样本对训练的贡献逐渐增大。显然，DBS L1 loss优于DS L1 loss，大大提高了肺癌病变的识别准确率。

2.2.3 Self-Calibration 自校准

在Dynamic R-CNN[28]中，仍然使用传统的二维卷积来计算卷积。但在传统的二维卷积中，每个输出特征映射都是由相同的公式生成的，这导致卷积滤波器学习相似的模式。此外，卷积特征变换中每个空间位置的视野只能由预定义的卷积核的大小来控制。这样就降低了肺癌特征图的辨别性。为了增强肺癌病变的特征表示能力，更准确地识别肺癌病变，SC-Dynamic R-CNN采用SCNet[33]代替传统的二维卷积。

如图5所示，给定滤波器组的尺寸为 $\left ( C,C,k_{h},k_{w} \right )$ ，其中 $C$ 为通道数， $k_{h}$ 和 $k_{w}$ 分别为空间高度和宽度。SCNet首先将其分成四个部分，每个部分负责不同的功能。分离后的滤波器用 $\left \{ K_{i}\right \}_{i=1}^{4}$ 来表示，每个滤波器的尺寸都是 $\left ( C/2,C/2,k_{h},k_{w} \right )$ . 输入 $X$ 在进入自校准卷积网络之前被分成两部分，用 $X_{1}$ 和 $X_{2}$ 表示，其中 $X_{1}$ 通过 $\left \{K_{2} ,K_{3},K_{4} \right \}$ 进行自校准得到 $Y_{1}$ 。同时， $X_{2}$ 在 $K_{1}$ 的作用下产生 $Y_{2}$ 。最后，将 $Y_{1}$ 与 $Y_{2}$ 连接，生成最终输出 $Y$ 。

为了有效地收集每个空间位置的背景信息，SCNet在两个不同尺度的空间中进行卷积特征变换。首先，对输入X1进行平均池化操作:

然后，得到的T1通过双线性插值算子将中间引用从小尺度空间映射到原始特征空间。具体公式如下:

其中“ $\ast$ ”表示卷积，Up（·）是双线性插值算子。校准操作可表述如下:

其中F3(X1) = X1 $\ast$ K3， "·"表示逐元素乘法，σ是sigmoid函数。校准操作完成后， $Y_{1}^{'}$ 需要按下式进行操作，得到最终输出:

在我们的模型中，使用SCNet代替二维卷积，考虑了每个空间位置周围的背景信息，部分避免了与病变无关的信息，也提高了肺癌病变的识别精度。

3. Experiments

3.1 Evaluation Metrics 评估指标

为了评估所提出的SC Dynamic R-CNN在我们所拥有的图像数据上的性能，我们使用了一组用于对象检测的流行性能指标，AP50和AP75为平均精度，IoU阈值分别为50%和75%。mAP是平均精确度（average precision）的平均（mean）。选择一个以上阈值的原因是为了消除可能的评估偏差，提供更客观的评估结果。我们将数据划分为三组，即训练集、验证集和测试开发集。使用训练集和验证集对所提出的动态R-CNN变体进行训练和验证。
最终结果将在测试开发集中显示。值得注意的是，我们的mAP平均每个类别的AP50和AP75。一般来说，模型的检测效果越好，mAP的值就越高。

3.2 Implementation Details 实现细节

为了进行真实的比较，所有实验都使用PyTorch和mmdetection进行[37]。实验是在Ubuntu 16.04操作系统的操作环境下，使用6×Intel（R）Core（TM）i7-7700 CPU，使用NVIDIA GeForce RTX 2080 GPU进行训练。测试实验使用相同的配置。除非特别说明，否则每个网络的输入图像大小为512 × 512像素。我们用12个epoch训练检测器，初始学习率为0.01。SGD动量设置为0.9，权重衰减值为0.0001。如果没有特别说明，所有其他超参数都遵循mmdetection[37]中的设置

3.3 Main Results 主要结果

在本文的实验结果中，我们使用“腺癌”、“鳞状细胞”和“小细胞”分别代表腺癌、鳞状细胞癌和小细胞癌。

不同模型的检测结果如下表所示：

我们使用了当前阶段的五种方法作为基准，来比较和测试我们提出的SC Dynamic R-CNN的结果。这五种方法是ReinaNet[21]、SSD[38]、Faster R-CNN[23]、Libra R-CNN[27]和Cascade R-CNN[25]。它们都是当前最流行的神经网络目标检测算法。我们使用相同的肺癌图像数据、训练集、验证集和测试集进行公平比较。我们提出的方法与其他五种流行方法的性能比较如表1所示。

结果表明，SC-Dynamic R-CNN在ResNet-50下的mAP达到了88.1%，比基于FPN的Faster R-CNN基线提高了8个点。作为单阶段检测网络，RetinaNet和SSD的mAP分别达到81.5%和78.9%，其准确率低于我们的方法。

此外，SC Dynamic R-CNN在AP75上比其他网络要好得多。这是因为SC-Dynamic R-CNN可以通过不断增加IoU阈值来训练更好的结果。尽管Cascade R-CNN在检测方面也取得了良好的效果，但无论是在AP50还是AP75上，我们的网络都优于Cascade R-CNN，我们的mAP比Cascade R-CNN高出4.1个百分点。

我们提出的方法证明了良好的有效性和鲁棒性。即使在不同的IoU阈值下，我们的方法的性能精度也是一致的。我们的方法之所以在精度上优于其他方法，是因为在先前的的Dynamic R-CNN算法中加入了新颖的增强。在训练阶段，该变体能够自动调整标签分配标准和回归损失函数的形状，从而使训练集得到更好的利用。另一个显著的改进是将自校准机制集成到之前方法的RPN中，这有助于CNN生成更多的判别表示，最终提高变体的整体性能。

3.4 Ablation Experiment 消融实验

为了展示我们所提出的各分量的有效性，在表2中我们报告了总体消融实验。实验结果表明了该方法的有效性和鲁棒性。

(1) DBS L1 loss：与Dynamic R-CNN相比，DBS L1 loss使肺癌检测的mAP从85.4%提高到87.1%。这证明了我们提出的模块比Dynamic RCNN的损失模块具有更好的性能。高IoU指标(如AP75)的结果得到了极大的改善，这验证了在训练期间改变损失函数以补偿高质量样本的有效性。

(2) SCNet：用SCNet取代传统卷积后，肺癌检测的mAP从87.1%提高到88.1%。与使用了DBL L1 loss的Dynamic R-CNN相比，添加SCNet后AP50和AP75分别提高了0.9和1.1个百分点。这也证明了SCNet在肺癌检测中的有效性。

SC-Dynamic R-CNN实验结果如下图所示:

图6：SC-Dynamic R-CNN检测效果图
腺癌检查结果(左)，小细胞癌检查结果(中)，鳞状癌检查结果(右)。

如图6所示，本文采用SC-Dynamic R-CNN模型检测肺癌病变，取得了较好的效果。这充分说明我们提出的模型大大提高了对肺癌病变的识别效果。

4. Conclusion

为了解决肺癌生物学特征复杂、难以检测的问题，我们提出了SC-Dynamic R-CNN网络。首先，我们用过采样方法扩展了肺癌数据集，得到了平衡数据集。然后，我们将自校准卷积模块添加到动态R-CNN网络中，并提出了一个新的回归损失函数DBS L1 loss。该算法在一定程度上解决了误检和漏检问题，大大提高了肺癌的检测精度。经过实验验证，新算法在肺癌数据集上的mAP达到了88.1%，在高IoU阈值(如AP75)下表现尤为出色。在接下来的工作中，我们将尝试进一步提高网络的准确性，并验证该模型在癌症检测中的广泛适用性。

在未来，利用其他智能算法和生物启发的计算方法来解决这一问题总是值得的，如帝王蝶优化(MBO)[39]，蚯蚓优化算法(EWA) [40],大象放牧优化(EHO)[41]，飞蛾搜索(MS)算法[42]，黏菌算法(SMA)[43]，饥饿游戏搜索(HGS) [44]， Runge Kutta优化器(RUN) [45]，群体捕食算法(CPA)[46]、哈里斯鹰优化(HHO)[47]和带学习的Spiking neural P(SN-P)系统[48]。