【YOLO V4】 速度和准确度更优的目标检测并附源码

从图中可以看到，最新的YOLO V4 版本的速度比EfficientDet 快了 2倍在大致相同的AP 表现下。相比之前的YOLO V3 AP和FPS 分别提升了 10% 和 12%。

摘要：

据说有许多功能可以提高卷积神经网络（CNN）的准确性。需要在大型数据集上对这些特征的组合进行实际测试，并对结果进行理论证明。某些功能仅在某些模型上运行，并且仅在某些问题上运行，或者仅在小型数据集上运行；而某些功能（例如批归一化和残差连接）适用于大多数模型，任务和数据集。我们假设此类通用功能包括加权残差连接（WRC），跨阶段部分连接（CSP），跨小批量标准化（CmBN），自对抗训练（SAT）和Mish激活。我们使用新功能：WRC，CSP，CmBN，SAT，Mish激活，马赛克数据增强，CmBN，DropBlock正则化和CIoU丢失，并结合其中的一些来达到最先进的结果：在MS VCO数据集上，Tesla V100的实时速度为〜65 FPS时为43.5％AP（65.7％AP50）。
论文的源码链接：https://github.com/JianqiuChen/darknet

Related work

目标检测模型

现代的检测器通常由两部分组成，一个是在ImageNet上预训练的骨架，另一个是用来预测对象的类别和边界框的主要部分。对于在GPU平台上运行的那些检测器，其主干可能是VGG [68]，ResNet [26]，ResNeXt [86]或DenseNet [30]。对于在CPU平台上运行的那些检测器，其主干可以是SqueezeNet [31]，MobileNet [28、66、27、74]或ShuffleNet [97、53]。至于头部，通常分为两类，即一级目标检测器和二级目标检测器。最具有代表性的两级对象检测器是R-CNN [19]系列，包括快速R-CNN [18]，更快的R-CNN [64]，R-FCN [9]和Libra R-CNN [ 58]。也可以使两阶段物体检测器成为无锚物体检测器，例如RepPoints [87]。对于一级目标检测器，最具代表性的模型是YOLO [61、62、63]，SSD [50]和RetinaNet [45]。近年来，开发了无锚的一级物体检测器。这种检测器是CenterNet [13]，CornerNet [37、38]，FCOS [78]等。近年来开发的对象检测器通常在骨架和头部之间插入一些层，通常使用这些层。收集不同阶段的要素地图。我们可以称其为对象检测器的颈部。通常，颈部由几个自下而上的路径和几个自上而下的路径组成。配备此机制的网络包括功能金字塔网络（FPN）[44]，路径聚集网络（PAN）[49]，BiFPN [77]和NAS-FPN [17]。
除上述模型外，一些研究人员还着重于直接构建用于对象检测的新主干网（DetNet [43]，DetNAS [7]）或新的整个模型（SpineNet [12]，HitDeector [20]）。 。
综上所述，普通的物体检测器由以下几部分组成：

Bag of freebies

通常，传统的物体检测器是离线训练的。因此，研究人员总是喜欢利用这一优势，并开发出更好的训练方法，这些方法可以使目标检测器获得更好的精度而又不会增加推理成本。我们称这些方法为“免费赠品”，仅改变培训策略或仅增加培训成本。物体检测方法经常采用并且符合自由袋定义的是数据增强。数据增强的目的是增加输入图像的可变性，从而使设计的物体检测模型对从不同环境获得的图像具有更高的鲁棒性。例如，光度畸变和几何畸变是两种常用的数据增强方法，它们无疑有益于物体检测任务。在处理光度失真时，我们会调整图像的亮度，对比度，色相，饱和度和噪点。对于几何失真，我们添加了随机缩放，裁剪，翻转和旋转。

上面提到的数据扩充方法都是逐像素调整，并且保留了调整区域中的所有原始像素信息。此外，一些从事数据增强的研究人员将重点放在模拟对象遮挡问题上。他们在图像分类和目标检测中取得了良好的效果。例如，随机擦除[100]和CutOut [11]可以随机选择图像中的矩形区域，并填充零的随机或互补值。至于捉迷藏[69]和网格遮罩[6]，他们随机或均匀地选择图像中的多个矩形区域，并将它们替换为所有的zeros。如果类似的概念应用于特征图，则有DropOut [71]，DropConnect [80]和DropBlock [16]方法。另外，一些研究人员提出了使用多个图像一起执行数据增强的方法。例如，MixUp [92]使用两个图像以不同的系数比值相乘和叠加，然后使用这些叠加的比值来调整标签。对于CutMix [91]，它是将裁切后的图像覆盖到其他图像的矩形区域，并根据混合区域的大小调整标签。除了上述方法之外，样式转移GAN [15]还用于数据扩充，这种用法可以有效地减少CNN所学习的纹理偏差。

与上面提出的各种方法不同，其他一些免费赠品方法专用于解决数据集中语义分布可能存在偏差的问题。在处理语义分布偏向问题时，一个非常重要的问题是不同类之间存在数据不平衡的问题，并且该问题通常通过硬否定示例挖掘[72]或在线硬示例挖掘来解决。 [67]在两阶段对象检测器中。

因此林等。 [45]提出了焦点损失，以解决各种类别之间存在的数据不平衡问题。另一个非常重要的问题是，很难用一键硬表示来表达不同类别之间的关联度的关系。执行标记时通常使用这种表示方案。在[73]中提出的标签平滑是将硬标签转换为软标签以进行训练，这可以使模型更健壮。为了获得更好的软标签，Islam等。 [33]介绍了知识蒸馏的概念来设计标签细化网络。
最后一袋免费赠品是边界框（BBox）回归的目标函数。传统的物体检测器通常使用均方误差（MSE）对BBox的中心点坐标以及高度和宽度直接执行回归，即{xcenter，ycenter，w，h}或左上点和右下点，即{xtop左，ytop左，xbottom右，ybottom右}。对于基于锚的方法，它是估计对应的偏移量，例如{fset的xcenter，fset的ycenter，woffset，hoffset}和{xtop左偏移量，ytop左偏移量，xbottom右偏移量，ybottom右偏移量偏移量}。但是，直接估计BBox的每个点的坐标值是将这些点视为自变量，但实际上并没有考虑对象本身的完整性。为了使这个问题得到更好的处理，一些研究人员最近提出了IoU损失[90]，从而将预测的BBox区域和地面真实BBox区域的覆盖范围考虑在内。 IoU损耗计算过程将通过使用基本事实执行IoU，然后将生成的结果连接到整个代码中，从而触发BBox的四个坐标点的计算。因为IoU是尺度不变表示，所以可以解决传统方法计算{x，y，w，h}的l1或l2损失时，损失会随着尺度增加的问题。最近，一些研究人员继续改善IoU损失。例如，GIoU损失[65]除了覆盖区域外还包括对象的形状和方向。他们建议找到最小面积的BBox，它可以同时覆盖预测的BBox和地面真值BBox，并使用该BBox作为分母来代替最初用于IoU损耗的分母。至于DIoU损失[99]，它还考虑了对象中心的距离，而CIoU损失[99]同时考虑了重叠区域，中心点之间的距离和纵横比。 CIoU可以在BBox回归问题上实现更好的收敛速度和准确性。

Bag of specials

对于那些插件模块和后处理方法，这些插件模块和后处理方法仅少量增加推理成本，但可以显着提高对象检测的准确性，我们称它们为“特价袋”。一般而言，这些插件模块用于增强模型中的某些属性，例如扩大感受野，引入注意机制或增强特征集成能力等，而后处理是一种筛选模型预测结果的方法。

可以用来增强接收域的通用模块是SPP [25]，ASPP [5]和RFB [47]。 SPP模块起源于空间金字塔匹配（SPM）[39]，SPM的原始方法是将特征图分割为几个d×d个相等的块，其中d可以为{1,2,3，…。 }，从而形成空间金字塔，然后提取词袋特征。 SPP将SPM集成到CNN中，并使用最大池操作而不是词袋操作。由于He等人提出的SPP模块。 [25]将输出一维特征向量，在全卷积网络（FCN）中应用是不可行的。因此，在YOLOv3 [63]的设计中，Redmon和Farhadi将SPP模块改进为内核大小为k×k的最大池输出的级联，其中k = {1、5、9、13}，步幅等于1。在这种设计下，较大的k×k最大池有效地增加了主干特征的接收场。在添加了改进版本的SPP模块之后，YOLOv3-608在MS COCO对象检测任务上将AP50升级了2.7％，而额外的计算费用为0.5％。 ASPP [5]模块和改进的SPP模块之间在操作上的差异主要在于原始k×k内核大小，最大步幅等于1到几个3×3内核大小，扩展比率等于k和在膨胀卷积运算中，步幅等于1。 RFB模块将使用k×k核的多个膨胀卷积，膨胀比等于k，步幅等于1，以获得比ASPP更全面的空间覆盖。 RFB [47]仅花费7％的额外推理时间，即可将MS COCO上SSD的AP50提高5.7％。

通常在对象检测中使用的注意力模块主要分为通道注意和点注意，这两个注意模型的代表是挤压和激发（SE）[29]和Spa -分别注意模块（SAM）[85]。尽管SE模块可以将ImNetNet图像分类任务中的ResNet50的功能提高1％至top-1的准确性，但仅将计算工作量增加2％即可，但是通常在GPU上它将使推理时间增加大约10 ％，因此更适合在移动设备中使用。但是对于SAM，它只需要支付0.1％的额外费用，就可以在ImageNet图像分类任务上将ResNet50-SE的top-1准确性提高0.5％。最好的是，它根本不影响GPU上的推理速度。
在特征集成方面，早期的实践是使用跳过连接[51]或超列[22]将低层物理特征集成到高层语义特征。由于诸如FPN的多尺度预测方法已变得流行，因此提出了许多集成了不同特征金字塔的轻量级模块。这种模块包括SFAM [98]，ASFF [48]和BiFPN [77]。 SFAM的主要思想是使用SE模块在多尺度级联特征图上执行通道级级别的加权。对于ASFF，它使用softmax作为逐点级别权重，然后添加不同比例的特征图。在BiFPN中，提出了多输入加权残差连接以执行按比例的级别重新加权，然后添加不同比例的特征图。
在深度学习的研究中，有些人专注于寻找良好的激活功能。良好的激活函数可以使梯度更有效地传播，同时不会引起过多的额外计算成本。 Nair和Hinton [56]在2010年提出ReLU来实质上解决传统tanh和S形激活函数中经常遇到的梯度消失问题。随后，LReLU [54]，PReLU [24]，ReLU6 [28]，比例指数线性单位（SELU）[35]，Swish [59]，hard-Swish [27]和Mish [55]等。还提出了用于解决梯度消失问题的方法。 LReLU和PReLU的主要目的是解决当输出小于零时ReLU的梯度为零的问题。至于ReLU6和Hard-Swish，它们是专门为量化网络设计的。为了对神经网络进行自归一化，提出了SELU激活函数来满足这一目标。要注意的一件事是，Swish和Mish都是连续可区分的激活函数。
基于深度学习的对象检测中常用的后处理方法是NMS，它可以用来过滤那些无法预测相同对象的BBox，而仅保留具有较高响应能力的候选BBox。 NMS尝试改进的方法与优化目标函数的方法一致。 NMS提出的原始方法没有考虑上下文信息，因此Girshick等。 [19]在R-CNN中添加了分类置信度得分作为参考，并且根据置信度得分的顺序，从高分到低分的顺序执行了贪婪的NMS。对于软网络管理系统[1]，它考虑到一个问题，即物体的遮挡可能会导致带有IoU分数的贪婪的网络管理系统的置信度得分下降。 DIoU NMS [99]开发人员的思维方式是在软NMS的基础上将中心距离的信息添加到BBox筛选过程中。值得一提的是，由于上述后处理方法均未直接涉及捕获的图像功能，因此在随后的无锚定方法开发中不再需要后处理。

Methodology

在并行计算和生产系统上进行优化。

The basic aim is fast operating speed of neural network, in production systems and optimization for parallel computations, rather than the low computation volume theoreti- cal indicator (BFLOP).

We present two options of real-time neural networks:
• For GPU we use a small number of groups (1 - 8) in convolutional layers: CSPResNeXt50/CSPDarknet53
• For VPU - we use grouped-convolution, but we refrain from using Squeeze-and-excitement (SE) blocks - specifically
this includes the following models: EfficientNet-lite / MixNet [76] GhostNet [21] / Mo- bileNetV3

Selection of architecture

YOLO V4 的目标是在输入网络分辨率，卷积层数，参数数之间找到最佳平衡。 (filter size2 * filters * channel / groups), and the number of layer outputs (filters)
举个例子来说：

our numerous studies demonstrate that the CSPResNext50 is considerably better compared to CSPDarknet53 in terms of object classification on the ILSVRC2012 (ImageNet) dataset . However, conversely, theCSPDarknet53 is better compared to CSPResNext50 in terms of detecting ob- jects on the MS COCO dataset.

YOLO V4 另一个目标是针对不同的检测器水平，从不同的主干水平中选择更多的块以增加感受野和最佳参数聚集方法 比如FPN，PAN，ASFF， BiFPN

对于分类最佳的参考模型对于检测器并非总是最佳的。与分类器相比，检测器需要满足以下条件：

1. 更高的输入网络规模（分辨率）–用于检测多个小型物体
2. 更高的层数–更高的感受野，以覆盖输入网络不断扩大的规模
3. 更多的参数–提高模型在单个图像中检测不同大小的多个对象的能力

假设地说，我们可以假设一个具有较大感受野的（通过大量3×3的卷积和）和大量参数的模型主干。表1显示了CSPResNeXt50，CSPDarknet53和EfficientNet B3的信息。 CSPResNext50仅包含16个3×3卷积层，一个425×425感受野和20.6 M参数，而CSPDarknet53包含29个3×3卷积层，一个725×725感受野和27.6 M参数。这种理论上的论证，再加上我们的众多实验，表明CSPDarknet53神经网络是两者作为检测器主干的最佳模型。

不同大小的感受野的影响总结如下：

Up to the object size - allows viewing the entire object
Up to networksize-allows viewing the context around
the object
Exceeding the network size - increases the number of connections between the image point and the final activation

我们将SPP块添加到CSPDarknet53上，因为它显着增加了感受野，分离出最重要的上下文特征，并且几乎没有降低网络运行速度。我们使用PANet作为针对不同检测器级别的来自不同backbone 级别的参数聚合方法，而不是YOLOv3中使用的FPN

最后，我们选择CSPDarknet53骨干网，SPP附加模块，PANet路径聚合瓶颈和YOLOv3（anchor based）作为YOLOv4的体系结构。
将来，我们计划大幅扩展检测器的赠品袋（BoF）的内容，从理论上讲，它可以解决一些问题并提高检测器的准确性，并以实验方式依次检查每个功能的影响。

YOLO V4 不使用跨GPU批量标准化（CGBN或SyncBN）或昂贵的专用设备。这样一来，任何人都可以在传统的图形处理器上重现我们的最新技术成果，例如GTX 1080Ti或RTX 2080Ti。

Selection of BoF and BoS

为了改进对象检测训练过程，CNN通常使用以下方法：

至于训练激活功能，由于PReLU和SELU更难以训练，并且ReLU6是专门为量化网络设计的，因此我们从候选列表中删除了上述激活功能。在重新量化方法中，发布DropBlock的人已将其方法与其他方法进行了详细的比较，并且其正则化方法赢得了很多。因此，我们毫不犹豫地选择了DropBlock作为我们的规范化方法。至于标准化方法的选择，由于我们专注于仅使用一个GPU的训练策略，因此不考虑syncBN。

Additional improvements

为了使设计的检测器更适合在单个GPU上进行训练，我们进行了以下附加设计和改进：

•我们引入了一种新的数据增强方法，即自我对抗​​训练（SAT）
•我们在应用遗传算法时选择最佳超参数
•我们修改了一些现有方法，使我们的设计适合进行有效的训练和检测-修改后的SAM，修改后的PAN和交叉小批量标准化（CmBN）

Mosaic 表示一种新的数据增强方法，该方法混合了4个训练图像。然而 CutMix 只有两个输入图像。这样就可以检测到超出其正常上下文的对象。此外，批量归一化从每层上的4张不同图像计算激活统计信息。这大大减少了对大批量生产的需求。

自我对抗训练（SAT）也代表了一项新的数据增强技术，该技术可在2个向前和向后的阶段进行操作。在第一阶段，神经网络会更改原始图像，而不是网络权重。这样，神经网络对其自身执行了对抗攻击，从而改变了原始图像，从而欺骗了图像上没有想要的物体。在第二阶段，训练神经网络以正常方式检测此修改图像上的对象。

CmBN表示CBN修改版本，如图4所示，定义为交叉微型批处理规范化（CmBN）。这仅收集单个batch中的mini-batches之间的统计信息。

我们将SAM从空间注意改为点注意，并将PAN的快捷连接替换为串联，分别如图5和图6所示。

YOLOv4 的部分细节

实验

我们测试了不同训练改进技术对ImageNet（ILSVRC 2012 val）数据集上分类器准确性的影响，然后对MS COCO（test-dev 2017）数据集上检测器的准确性进行了影响。

在ImageNet图像分类实验中，默认的超参数如下：训练步骤为8,000,000；批量大小和最小批量大小分别为128和32；采用多项式衰减学习率调度策略，初始学习率为0.1。预热步骤为1000；动量和重量偏差分别设置为0.9和0.005。我们所有的BoS实验都使用与默认设置相同的超参数，并且在BoF实验中，我们添加了额外的50％训练步骤。在BoF实验中，我们验证了MixUp，CutMix，Mosaic，模糊数据增强和标签平滑正则化方法。在BoS实验中，我们比较了LReLU，Swish和Mish激活功能的效果。所有实验均使用1080 Ti或2080 Ti GPU进行培训。
在MS COCO对象检测实验中，默认超参数如下：训练步骤为500,500；训练步骤为500,500。采用步阶衰减学习率调度策略，初始学习率为0.01，分别在40万步和45万步上乘以系数0.1。动量和重量衰减分别设置为0.9和0.0005。所有架构均使用单个GPU以64的批处理大小执行多尺度训练，而最小批处理大小为8或4则取决于架构和GPU内存限制。除了使用遗传算法进行超参数搜索实验外，所有其他实验均使用默认设置。遗传算法使用YOLOv3-SPP训练GIoU损失，并搜索300个纪元的最小值5k集。对于遗传算法实验，我们采用搜索学习率0.00261，动量0.949，IoU阈值来分配地面实况0.213，并使用损失归一化器0.07。我们已经验证了许多BoF，包括消除网格敏感性，分子数据增强，IoU阈值，遗传算法，类标签平滑，交叉小批量标准化，自对抗训练，余弦退火调度程序，动态小批量大小，DropBlock，优化锚点，不同类型的IoU损失。我们还对各种BoS进行了实验，包括Mish，SPP，SAM，RFB，BiFPN和高斯YOLO [8]。对于所有实验，我们仅使用一个GPU进行训练，因此未使用可优化多个GPU的诸如syncBN之类的技术。

结论

我们提供最先进的检测器，其速度（FPS）和准确度（MS COCO AP50 … 95和AP50）比所有可用的替代检测器都要高。所描述的检测器可以训练并在具有8-16 GB-VRAM的常规GPU上使用，这使得它的广泛使用成为可能。一阶段基于锚的探测器的原始概念已经证明了其可行性。我们已经验证了大量功能，并选择使用这些功能以提高分类器和检测器的准确性。这些功能可以用作未来研究和开发的最佳实践。