RCS-YOLO：用于脑肿瘤的快速、高准确的检测

摘要：

凭借速度和准确性之间的优秀的平衡，尖端的YOLO已经成为物体检测方面最有效的算法之一。然而，在脑肿瘤检测中很少研究使用 YOLO 网络的性能。我们提出了一种基于通道洗牌（RCS-YOLO）的具有重新参数化卷积的新型YOLO架构。我们提出了 RCS 和 RCS 的 OneShot 聚合（RCS-OSA），它将特征级联和计算效率联系起来，以提取更丰富的信息并减少时间消耗。在脑肿瘤数据集Br35H上的实验结果表明，所提出的模型在速度和准确性上超越了YOLOv6、YOLOv7和YOLOv8。值得注意的是，与YOLOv7相比，RCS-YOLO的精度提高了1%，推理速度提高了60%，每秒检测到114.8张图像（FPS）。我们提出的 RCS-YOLO 在脑肿瘤检测任务上实现了最先进的性能。代码在以下链接获取。GitHub - mkang315/RCS-YOLO: Official implementation of "RCS-YOLO: A Fast and High-Accuracy Object Detector for Brain Tumor Detection".

关键词：医学图像检测，YOLO，重参数化卷积，通道洗牌，计算效率

1 引言

    通过磁共振成像（MRI）自动检测脑肿瘤是复杂、繁琐且耗时的，因为脑肿瘤图像中存在大量遗漏、误解和误导性的肿瘤样病变[8]。目前的大部分工作都集中在 MRI 的脑肿瘤分类和分割上，而检测任务的探索较少[1,13,22]。虽然现有研究表明各种卷积神经网络（CNN）对于脑肿瘤检测是有效的，但很少研究使用 You Only Look Once（YOLO）网络的性能[12,20,23-25,27]。

    随着CNN的快速发展，不同视觉任务的准确率不断提高。然而，基于CNN的网络架构越来越复杂，例如ResNet，DenseNet，Inception，导致其推理速度变慢。尽管许多先进的CNN可以提供更高的精度，但复杂的多分支设计（例如ResNet中的残差加法和Inception中的分支串联）使得模型很难去实施和定制，降低了推理速度并且减少了内存的利用率。MobileNets [7]中使用的深度可分离卷积也降低了GPU推理速度的上限。此外，现代计算库也被也高度优化了3×3卷积。因此，VGG仍然被广泛使用在现实世界中的研究和工业中。

    RepVGG [2] 是 VGG 的扩展，通过重新参数化来加速推理时间。RepVGG 在训练阶段使用多分支拓扑架构，然后在推理阶段将其重新参数化为简化的单分支架构。在网络训练的优化策略方面，YOLOv6 [16]、YOLOv7 [31]和YOLOv6 v3.0 [17]中引入了重新参数化。YOLOv6 和 YOLOv6 v3.0 采用 RepVGG 的重新参数化。 RepConv是一个没有身份连接的RepVGG，在YOLOv6、YOLOv6 v3.0和YOLOv7中的推理时间内从RepVGG转换而来（在YOLOv7中称为RepConvN）。由于RepConv中去除了恒等连接，直接接入ResNet或者DenseNet中的级联可以为不同的特征图提供更多多样性的梯度。分组卷积，即使用一组每层有多个内核的卷积，如RepVGG，也可以显着降低模型的计算复杂度，但组之间没有信息通信，这限制了卷积算子的特征提取能力。为了克服分组卷积的缺点，ShuffleNet V1 [34]和V2 [21]引入了通道洗牌操作，以促进信息在不同特征通道之间流动。此外，当将YOLOv7中的Spatial Pyramid Pooling & Cross Stage Partial Network plus ConvBNSiLU (SPPCSPC)与YOLOv5 [10]和YOLOv8 [11]中的Spatial Pyramid Pooling Fast (SPPF)进行比较时，发现SPPCSPC架构中更多的卷积层速度较慢降低网络的计算量。尽管如此，SPP [4, 5]模块通过最大池化颈部网络中不同尺寸的卷积核来实现局部特征和全局特征的融合。

    针对更快、更高精度的医学图像目标检测器，我们利用 RepVGG/RepConv 提出了一种名为 RCS-YOLO 的新 YOLO 架构。本篇文章的工作总结如下：

1）我们首先通过将 RepVGG/RepConv 与 ShuffleNet 相结合来开发 RepVGG/RepConv ShuffleNet (RCS)，它受益于重新参数化，可以在训练阶段提供更多特征信息并减少推理时间。然后，我们构建了一个基于 RCS 的一次性聚合（RCSOSA）模块，该模块不仅允许低成本的内存消耗，而且还允许语义信息提取。

2）我们通过将开发的 RCS-OSA 和 RepVGG/RepConv 与路径聚合相结合，设计了 YOLO 架构的新骨干和颈部网络，以缩短特征预测层之间的信息路径。这导致准确的定位信息快速传播到骨干网络和颈部网络中的特征层次结构。

3）我们将提出的 RCS-YOLO 模型应用于脑肿瘤检测这一具有挑战性的任务。据我们所知，这是第一个利用基于 YOLO 的模型进行快速脑肿瘤检测的工作。对公开的脑肿瘤检测注释数据集的评估显示，与其他最先进的 YOLO 架构相比，其检测精度和速度更高。

 2 方法

    所提出的 RCS-YOLO 网络的架构如图 1 所示。它在基于 YOLO 的目标检测器的主干和颈部结合了一个新的模块 - RCS-OSA。

2.1 RepVGG/RepConv ShuffleNet

    受ShuffleNet的启发，我们设计了一种基于通道shuffle的结构重参数化卷积。 图2是RSC的结构示意图。给定特征图的输入的维度是CHW，在通道算子分割之后，它被分为两个不同通道的张量，其维度相同。对于其中的一个张量，我们使用恒等分支、1×1卷积，3×3卷积去重新建造训练时长RCS。在推理阶段，使用结构重参数化将恒等分支、1×1 卷积和3×3卷积转换为3×3 RepConv。多分支拓扑架构可以在训练时学习丰富的特征信息，简化的单分支架构可以节省推理时的内存消耗，实现快速推理。对其中一个张量进行多分支训练后，它以通道方式连接到另一个张量。通道混洗算子还用于增强两个张量之间的信息融合，从而可以以较低的计算复杂度实现输入的不同通道特征之间的深度测量。

 当没有通道混洗时，每组的输出特征仅与一组分组卷积内的输入特征相关，某个组的输出仅与该组内的输入相关。这阻碍了通道之间的信息流动并且削弱了特征提取能力。当使用通道洗牌的时候，输入和输出特征完全相关，其中一个卷积组从其他组获取数据，从而使得不同组之间能够更加有效的进行特征信息交流。通道洗牌在堆叠分组卷积上进行操作，并允许提供更多信息的特征表示。此外，假设组数为g，对于相同的输入特征，通道洗牌的计算复杂度是普通卷积的1/g。

     与流行的3 3卷积相比，在推理阶段，RCS使用通道分割和通道洗牌等算子将计算复杂度降低2倍，同时保持通道间信息交换。此外，使用结构重新参数化可以在训练阶段从输入特征进行深度表示学习，并减少推理时间内存消耗以实现快速推理。

2.2 基于 RCS 的单次聚合

      单次聚合（OSA）模块的提出是为了克服密集网络中密集连接的低效率问题。通过多感知场来表示多样化的特征，并在最后的特征图中对所有特征进行一次聚合。VoVNet V1 [14] 和 V2 [15] 在其架构中使用 OSA 模块来构建轻量级和大规模目标检测器，其性能优于广泛使用的 ResNet 主干网，具有更快的速度和更好的能源效率。

      我们通过结合在第 2 节中开发的 RCS 来开发 RCS-OSA 模块。 OSA的2.1，如图3所示。RCS模块重复堆叠，以保证特征的重用，并增强相邻层特征之间不同通道之间的信息流。在网络的不同位置，我们设置了不同数量的堆叠模块。为了降低网络碎片水平，一次性聚合路径上仅维护三个特征级联，这可以减轻网络计算负担并减少内存占用。在多尺度特征融合方面，受路径聚合网络（PANet）[19]思想的启发，RCS-OSA + Upsampling和RCSOSA + RepVGG/RepConv欠采样对不同尺寸的特征图进行对齐以允许信息交换两个预测特征层之间。这使得物体检测中的高精度快速推理成为可能。此外，RCS-OSA 保持相同数量的输入通道和最小输出通道，从而降低了内存访问成本（MAC）。对于网络构建，我们持续进行 YOLOv7 32 倍的 max-pooling 欠采样来构建主干网络，并采用步长为 2 的 RepVGG/RepConv 来实现欠采样。由于RCS-OSA模块的多样化特征表示和低成本的内存消耗，我们在RCS-OSA模块中使用不同数量的堆叠RCS来实现骨干网络和颈部网络不同阶段的语义信息提取。

 计算效率（或时间复杂度）的常见评估指标是浮点运算（FLOP）。 FLOPs只是衡量推理速度的间接指标。然而，具有 DenseNet 主干的目标检测器表现出相当慢的速度和低能量效率，因为通过密集连接线性增加的通道数量会导致大量的 MAC，从而导致相当大的计算开销。给定维度为 M×M 的输入特征、大小为 K×K 的卷积核、输入通道数 C1 和输出通道数 C2 ，FLOPs 和 MAC 可以计算为：

假设n为4，所提出的RCS-OSA和高效层聚合网络（ELAN）[31, 33]的FLOP分别为20.25C2M 2 和40C2M 2。与ELAN相比，RCS-OSA的FLOPs降低了近50%。与ELAN（即17CM 2 + 40C2）相比，RCS-OSA（即6CM 2 + 20.25C2）的MAC也有所减少。

2.3 检测头

     为了进一步减少推理时间，我们将由 RepVGG 和 IDetect 组成的检测头数量从 3 个减少到 2 个。YOLOv5、YOLOv6、YOLOv7和YOLOv8具有三个检测头。然而，我们只使用两个特征层进行预测，将原来九个不同尺度的anchor数量减少到四个，并使用K-means无监督聚类方法重新生成不同尺度的anchor。相应的尺度是(87, 90)、(127, 139)、(154, 171)、(191,240)。这不仅减少了RCS-YOLO的卷积层数和计算复杂度，而且减少了推理阶段网络的整体计算要求和后处理非极大值抑制的计算时间。

3  实验结果

3.1 数据集

     为了评估所提出的RCS-YOLO模型，我们使用了2020年脑肿瘤检测数据集（Br35H）[3]，“train”和“val”两个文件夹中共有701张图像，其中500张图像是“train”选择“val”文件夹中的其他201张图像作为训练集，而“val”文件夹中的其他201张图像作为测试集。对于输入尺寸为 640 640 的图像，实际对应的尺寸为 44 32。小物体被定义为 MS COCO 数据集[18]定义的像素尺寸小于 32 32 的物体，因此在脑肿瘤医学图像数据集，目标框的尺度变化是平滑的，几乎是正方形的。大脑图像的标签框已标准化（参见补充材料第 1 节）。

 3.2 实施细节

      对于模型训练和推理，我们使用 Ubuntu 18.04 LTS、IntelQR XeonQR Gold 5218 CPU 处理器、CUDA 12.0 和 cuDNN 8.2。 GPU为GeForce RTX 3090，显存大小为24G。网络开发框架是Pytorch 1.9.1。集成开发环境 (IDE) 是 PyCharm。我们统一设置epoch为150，批量大小为8，图像大小为640 640。使用随机梯度下降（SGD）优化器，初始学习率为0.01，权重衰减为0.0005。

3.3 评估方法

  在本文中，我们选择精确率、召回率，ap50，ap50-95，FLOPs和推理速度（FPS）作为检测效果的比较指标，以确定模型的优缺点，采用IoU为标准，精确度和召回率可以通过一下公式进行计算：

 其中TP表示被正确识别为正样本的正样本数，FP表示被错误识别为正样本的负样本数，FN表示被错误识别为负样本的正样本数。 AP50 是由精确率和召回率形成的精确率-召回率（PR）曲线下的面积。对于AP50:95，除以10个IoU阈值0.5:0.05:0.95以获得PR曲线下的面积，然后对结果进行平均。 FPS表示模型每秒检测到的图像数量。

 3.4 结果

为了强调所提出的脑肿瘤医学图像数据集检测模型的准确性和快速性，表1显示了我们提出的检测器与其他最先进的目标检测器之间的性能比较。 FPS的持续时间包括数据预处理、正向模型推理和后处理。输入图像的长边框设置为640像素。短边框自适应缩放而不失真，同时保持灰色填充为短边框像素的 32 倍。

    可以看出，结合了RCS-OSA模块优点的RCS-YOLO表现良好。与YOLOv7相比，本文的目标检测器的FLOPs降低了8.8G，推理速度提高了43.4 FPS。检测率方面，精度提升0.024； AP50增加0.01； AP50：95 0.006。此外，RCS-YOLO 比 YOLOv6-L v3.0 和 YOLOv8l 更快、更准确。虽然RCS-YOLO的AP50:95与YOLOv8l持平，但这并不能掩盖RCSYOLO的本质优势。结果清楚地表明，与最先进的脑肿瘤检测方法相比，我们的方法具有卓越的性能和效率。如补充材料图2所示，使用所提出的方法可以从MRI中准确检测到脑肿瘤区域。

3.5 消融实验

 们证明了所提出的 RCS-OSA 模块在基于 YOLO 的目标检测器中的有效性。表2中的RepVGG-CSP的结果比RCS-YOLO有所减少，其中RCS-YOLO中的RCS-OSA被替换为现有YOLOv4-CSP [30]架构中使用的跨阶段部分网络（CSPNet）[32] GFLOP 除外。由于RepVGG-CSP（22.2M）的参数不到RCS-YOLO（45.7M）的一半，因此RepVGG-CSP的计算量（即GFLOPs）相应地小于RCS-YOLO。尽管如此，在以FPS衡量的实际推理速度上，RCS-YOLO仍然表现得更好。

4 结论

我们开发了一个 RCS-YOLO 网络，通过利用 YOLO 架构中基于通道混洗的重新参数化卷积算子 RCS，实现快速、准确的医疗对象检测。我们基于 RCS 设计了一种高效的一次性聚合模块 RCS-OSA，作为新型 YOLO 网络骨干和颈部的计算单元。与 YOLOv6、YOLOv7 和 YOLOv8 模型相比，对脑 MRI 数据集的评估表明，脑肿瘤检测在速度和精度方面均具有优越的性能。