YOLOv4: Optimal Speed and Accuracy of Object Detection 论文笔记

YOLOv4: Optimal Speed and Accuracy of Object Detection

论文链接： https://arxiv.org/abs/2004.10934

一、Problem Statement

作者使用一些tricks提升检测效果，包括: Weighted-Residual-Connections(WRC), Cross-Stage-Partial-connections(CSP), Cross mini-Batch Normalization(CmBN), self-adversarial-training (SAT) and Mish-activation, Mosaic data augmentation, DropBlock regularization, and CIou loss, 及其组合。

二、Direction

作者构建一个仅在一块GPU上实时运行的CNN，并且它只需要一个GPU就可以进行训练。
目标: 设计一个可以快速运行的目标检测器并且对并行计算进行优化，而不是降低计量计算量的理论指标（BFLOP）。

  贡献: 
  (1) 提出了高效且强大的目标检测模型。
  (2) 测试了 SOTA 的 Bag-of-Freebies 和 Bag-of-Specials。
  (3) 改进了 SOTA 算法，使得他们更适合单个GPU训练，包括 CBN， PAN， SAM等。       

1. Object Detector 由以下几部分组成:

   1. Input: Image, Patches, Image Pyramid
   2. Backbones: CSPDarknet53/CSPResNext50
   3. Neck:
      1. Additional blocks: SPP, ASPP
      2. Path-aggregation blocks: FPN, PAN, BiFPN
   4. Heads:
      1. Dense Prediction (one-stage): SSD, YOLO, CornerNet, CenterNet, FCOS
      2. Sparse Prediction (two-stage): Faster-RCNN, RepPoints
          

2. Bag of freebies
   我们称一些只改变训练策略，或者只增加训练成本的方法为Bag of freebies。

   1. Data Augmentation: pixel-wise adjustment, object occlusion, semantic distribution, OHEM
   2. Loss function, Objective function of Bounding Box regression, knoledge distillation

 

3. Bag of specials
   我们称一些后处理方法，或者只小幅度增加推理成本，但是能极大提升目标检测精度的方法为Bag of specials。
   1. 增大感知域: SPP, ASPP, RFB
   2. 引入注意力机制:
      1. channle-wise attention: Squeeze-and-Excitation(SE)
      2. point-wise attention: Spatial Attention Module(SAM)
   3. 加强特征融合能力: skip connection, SFAM, ASFF, BiFPN
   4. 激活函数:ReLU, Swish, Mish
   5. NMS: greedy NMS, soft NMS, DIoU NMS

三、Method

作者提供了两个优化方向:

1. GPU: CSPResNetXt50/CSPDarknet53
2. VPU: 使用Squeeze-and-excitement(SE) blocks, EfficientNet-lite/MixNet/GhostNet/MobileNetV3

一、 选择的框架:

1. 找到输入图像分辨率，卷积层数量，参数量和层输出数量的最优平衡。
2. 选择一些blocks，可以增加感知域和特征融合的方法。
   高分辨率输入有益于检测多种小目标; 对于大分辨率输入，需要更多的卷积层可以提高感知域; 更多的参数量可以使用模型在一张图片内检测不一样大小的目标。
   感知域影响是否可以看到完整的目标，能够看到目标周围的环境，提升图片点和最后激活点联系的数量。

二、 选择BoF 和 BoS:
作者对一些方法进行了改进:

1. 新的数据增强的方法:Mosaic 和 Self-Adversarial Training (SAT)
2. 使用遗传算法选择最优的超参数
3. 改进了SAM，PAN 和 Cross mini-Batch Normalization (CmBN)

Mosaic 是把四张训练图片混合在一起，而CutMix 混合的是两张图片。这个能使的目标的检测不在他们正常的环境背景之下。Batch Normalization 在每一层计算四张不同图片的激活值，有助于减少large mini-batch size的要求。

自对抗训练(SAT)分为两个阶段:第一个阶段，神经网络修改原始图片，而不是网络的权重，增加对抗，欺骗，即没有目标出现在图片上的假象。第二个阶段，神经网络在修改过的图片上进行正常的目标检测。

Cross mini-Batch Normalization 时CBN的一个修改版本。它仅收集单个批次内 mini-batch 之间的统计数据。
SAM从spatial-wise attention 改到了 point-wise attentioin。
PAN的shortcut connection改为 concatenation。
修改结构如图:

所以作者选用了CSPDarknet53(backbone)+ SPP(additional block) + PANet(path-aggregation block) + YOLOv3(head) 的结构框架。
BoF for backbone: CutMix + Mosaic + DropBlock regularization, Class label smoothing
BoS for backbone: Mish activateion, Cross-stage partial connections(CSP), Multi-input weighted residual connections(MiWRC)
BoF for detector: CIoU-loss, CmBN, DropBlock regularization, Mosaic, SAT, Eliminate grid sensitivity, using multiple anchors for a single ground truth, Cosine annealing scheduler, Optimal hyper-parameters, Random training shapes
BoS for detector: Mish activation, SPP-block, SAM-block, PAN path-aggregation block, DIoU-NMS

三、 为什么使用CIoU-loss
目标检测任务的损失函数一般由classification loss 和 bounding box regression loss 两部分组成。
Bounding Box regression 的loss 近些年的发展过程是:
Smooth L1 Loss -> IoU Loss(2016) -> GIoU Loss(2019) -> DIoU Loss(2020) -> CIoU Loss(2020)

我们从最常用的IoU Loss分析:

1. IoU loss
   

可以看到IoU的loss其实很简单，主要是交集/并集，但其实也存在两个问题。

问题1: 即状态1的情况，当预测框和目标框不相交时，IoU=0，无法反应两个框距离的远近，此时损失函数不可导，IoU loss无法优化两个框不相交的情况。
问题2: 即状态2和状态3的情况，当两个预测框大小相同，两个IoU也相同，IoU loss 无法区分两者相交情况的不同。
因此2019年出现了GIoU loss 来进行改进
2. GIoU loss

可以看到GIoU loss 中，增加了相交尺度的衡量方式，缓解了单纯IoU loss时候的问题。但还存在一种不足:

问题: 状态1、2、3都是预测框在目标框内部且预测框大小一致的情况，这时候预测框和目标框的差集都是相同的，因此这三种状态的GIoU值也都是相同的，这时候GIoU退化成了IoU，无法区分相对位置关系。
这个问题，2020年的AAAI提出了DIoU loss
3. DIoU loss
好的目标框回归函数应该考虑三个重要的几何因素: 重叠面积、中心点位置、长宽比。
针对IoU和GIoU存在的问题，作者从两个方面进行了考虑:
(1). 如何最小化预测框和目标框之间的归一化距离？
(2). 如何在预测框和目标框重叠时，回归的更准确？
针对第一个问题，提出了DIoU loss (distance IoU loss)

DIoU loss 考虑了重叠面积和中心点距离，当目标框包裹预测框的时候，直接度量2个框的距离，因此DIoU loss收敛的更快。
但就好像前面好的目标框回归函数所说的，没有考虑到长宽比。

比如上面三种情况，目标框包裹预测框，本来DIoU loss 可以起作用，但预测框的中心点位置都是一样的，因此按照DIoU loss的计算公式，三者的值都是相同的。
针对这个问题，又提出了CIoU loss。
4. CIoU loss
CIoU loss 和 DIoU loss 前面的公式都是一样的。不过在此基础上还增加了一个影响因子，將预测框和目标框的长宽比都考虑了进去。
$$CIoU\_loss=1-CIoU=1-(IoU-\frac{Distance\_2^2}{Distance\_C^2}-\frac{v^2}{(1-IoU)+v})$$
其中$v$是衡量长宽比一致性的参数，可以定义为:
$$v=\frac{4}{{\pi }^2}(arctan\frac{w^{gt}}{h^{gt}}-arctan\frac{w^p}{h^p}{)}^2$$
这样CIoU loss 就将目标框回归函数应该考虑三个重要几何因素：重叠面积、中心点距离、长宽比全部考虑进去了。

5. DIoU loss
   NMS主要是用于anchors的筛选，先看一下一个例子
   

   在上图重叠的摩托车检测中，中间的摩托车因为考虑边界框中心点的位置信息，也可以回归出来。因此在重叠目标的检测中，DIoU loss 的效果优于传统的NMS。
   那为什么YOLOv4不使用 CIoU NMS 而不是 DIoU NMS呢？
   因为前面讲到的CIoU loss 是在 DIoU loss 的基础上，添加的影响因子，包含ground truth标注框的信息。在训练的时候用于回归。但在测试过程中，并没有ground truth的信息，不用考虑影响因子，因此直接用DIoU loss即可。

总结:
IoU loss: 主要考虑检测框和目标框重叠面积
GIoU loss: 在IoU的基础上，解决边框不重合时的问题
DIoU loss: 在IoU和GIoU的基础上，考虑边界框中心点距离的信息。
CIoU loss: 在DIoU的基础上，考虑边界宽高比的尺度信息。

四、 YOLOV4的结构图

四、Conclusion

集成了很多tricks来提升detector的性能。

Reference

1. https://blog.csdn.net/nan355655600/article/details/106246625