YOLOv4: Optimal Speed and Accuracy of Object Detection
论文链接: https://arxiv.org/abs/2004.10934
一、Problem Statement
作者使用一些tricks提升检测效果,包括: Weighted-Residual-Connections(WRC), Cross-Stage-Partial-connections(CSP), Cross mini-Batch Normalization(CmBN), self-adversarial-training (SAT) and Mish-activation, Mosaic data augmentation, DropBlock regularization, and CIou loss, 及其组合。
二、Direction
作者构建一个仅在一块GPU上实时运行的CNN,并且它只需要一个GPU就可以进行训练。
目标: 设计一个可以快速运行的目标检测器并且对并行计算进行优化,而不是降低计量计算量的理论指标(BFLOP)。
贡献:
(1) 提出了高效且强大的目标检测模型。
(2) 测试了 SOTA 的 Bag-of-Freebies 和 Bag-of-Specials。
(3) 改进了 SOTA 算法,使得他们更适合单个GPU训练,包括 CBN, PAN, SAM等。
-
Object Detector 由以下几部分组成:
- Input: Image, Patches, Image Pyramid
- Backbones: CSPDarknet53/CSPResNext50
- Neck:
- Additional blocks: SPP, ASPP
- Path-aggregation blocks: FPN, PAN, BiFPN
- Heads:
- Dense Prediction (one-stage): SSD, YOLO, CornerNet, CenterNet, FCOS
- Sparse Prediction (two-stage): Faster-RCNN, RepPoints
-
Bag of freebies
我们称一些只改变训练策略,或者只增加训练成本的方法为Bag of freebies。- Data Augmentation: pixel-wise adjustment, object occlusion, semantic distribution, OHEM
- Loss function, Objective function of Bounding Box regression, knoledge distillation
- Bag of specials
我们称一些后处理方法,或者只小幅度增加推理成本,但是能极大提升目标检测精度的方法为Bag of specials。- 增大感知域: SPP, ASPP, RFB
- 引入注意力机制:
- channle-wise attention: Squeeze-and-Excitation(SE)
- point-wise attention: Spatial Attention Module(SAM)
- 加强特征融合能力: skip connection, SFAM, ASFF, BiFPN
- 激活函数:ReLU, Swish, Mish
- NMS: greedy NMS, soft NMS, DIoU NMS
三、Method
作者提供了两个优化方向:
- GPU: CSPResNetXt50/CSPDarknet53
- VPU: 使用Squeeze-and-excitement(SE) blocks, EfficientNet-lite/MixNet/GhostNet/MobileNetV3
一、 选择的框架:
- 找到输入图像分辨率,卷积层数量,参数量和层输出数量的最优平衡。
- 选择一些blocks,可以增加感知域和特征融合的方法。
高分辨率输入有益于检测多种小目标; 对于大分辨率输入,需要更多的卷积层可以提高感知域; 更多的参数量可以使用模型在一张图片内检测不一样大小的目标。
感知域影响是否可以看到完整的目标,能够看到目标周围的环境,提升图片点和最后激活点联系的数量。
二、 选择BoF 和 BoS:
作者对一些方法进行了改进:
- 新的数据增强的方法:Mosaic 和 Self-Adversarial Training (SAT)
- 使用遗传算法选择最优的超参数
- 改进了SAM,PAN 和 Cross mini-Batch Normalization (CmBN)
Mosaic 是把四张训练图片混合在一起,而CutMix 混合的是两张图片。这个能使的目标的检测不在他们正常的环境背景之下。Batch Normalization 在每一层计算四张不同图片的激活值,有助于减少large mini-batch size的要求。
自对抗训练(SAT)分为两个阶段:第一个阶段,神经网络修改原始图片,而不是网络的权重,增加对抗,欺骗,即没有目标出现在图片上的假象。第二个阶段,神经网络在修改过的图片上进行正常的目标检测。
Cross mini-Batch Normalization 时CBN的一个修改版本。它仅收集单个批次内 mini-batch 之间的统计数据。
SAM从spatial-wise attention 改到了 point-wise attentioin。
PAN的shortcut connection改为 concatenation。
修改结构如图:
所以作者选用了CSPDarknet53(backbone)+ SPP(additional block) + PANet(path-aggregation block) + YOLOv3(head) 的结构框架。
BoF for backbone: CutMix + Mosaic + DropBlock regularization, Class label smoothing
BoS for backbone: Mish activateion, Cross-stage partial connections(CSP), Multi-input weighted residual connections(MiWRC)
BoF for detector: CIoU-loss, CmBN, DropBlock regularization, Mosaic, SAT, Eliminate grid sensitivity, using multiple anchors for a single ground truth, Cosine annealing scheduler, Optimal hyper-parameters, Random training shapes
BoS for detector: Mish activation, SPP-block, SAM-block, PAN path-aggregation block, DIoU-NMS
三、 为什么使用CIoU-loss
目标检测任务的损失函数一般由classification loss 和 bounding box regression loss 两部分组成。
Bounding Box regression 的loss 近些年的发展过程是:
Smooth L1 Loss -> IoU Loss(2016) -> GIoU Loss(2019) -> DIoU Loss(2020) -> CIoU Loss(2020)
我们从最常用的IoU Loss分析:
- IoU loss
可以看到IoU的loss其实很简单,主要是交集/并集,但其实也存在两个问题。
问题1: 即状态1的情况,当预测框和目标框不相交时,IoU=0,无法反应两个框距离的远近,此时损失函数不可导,IoU loss无法优化两个框不相交的情况。
问题2: 即状态2和状态3的情况,当两个预测框大小相同,两个IoU也相同,IoU loss 无法区分两者相交情况的不同。
因此2019年出现了GIoU loss 来进行改进
2. GIoU loss
可以看到GIoU loss 中,增加了相交尺度的衡量方式,缓解了单纯IoU loss时候的问题。但还存在一种不足:
问题: 状态1、2、3都是预测框在目标框内部且预测框大小一致的情况,这时候预测框和目标框的差集都是相同的,因此这三种状态的GIoU值也都是相同的,这时候GIoU退化成了IoU,无法区分相对位置关系。
这个问题,2020年的AAAI提出了DIoU loss
3. DIoU loss
好的目标框回归函数应该考虑三个重要的几何因素: 重叠面积、中心点位置、长宽比。
针对IoU和GIoU存在的问题,作者从两个方面进行了考虑:
(1). 如何最小化预测框和目标框之间的归一化距离?
(2). 如何在预测框和目标框重叠时,回归的更准确?
针对第一个问题,提出了DIoU loss (distance IoU loss)
DIoU loss 考虑了重叠面积和中心点距离,当目标框包裹预测框的时候,直接度量2个框的距离,因此DIoU loss收敛的更快。
但就好像前面好的目标框回归函数所说的,没有考虑到长宽比。
比如上面三种情况,目标框包裹预测框,本来DIoU loss 可以起作用,但预测框的中心点位置都是一样的,因此按照DIoU loss的计算公式,三者的值都是相同的。
针对这个问题,又提出了CIoU loss。
4. CIoU loss
CIoU loss 和 DIoU loss 前面的公式都是一样的。不过在此基础上还增加了一个影响因子,將预测框和目标框的长宽比都考虑了进去。
C
I
o
U
_
l
o
s
s
=
1
−
C
I
o
U
=
1
−
(
I
o
U
−
D
i
s
t
a
n
c
e
_
2
2
D
i
s
t
a
n
c
e
_
C
2
−
v
2
(
1
−
I
o
U
)
+
v
)
CIoU\_loss=1-CIoU=1-(IoU-\frac{Distance\_2^2}{Distance\_C^2}-\frac{v^2}{(1-IoU)+v})
CIoU_loss=1−CIoU=1−(IoU−Distance_C2Distance_22−(1−IoU)+vv2)
其中
v
v
v是衡量长宽比一致性的参数,可以定义为:
v
=
4
π
2
(
a
r
c
t
a
n
w
g
t
h
g
t
−
a
r
c
t
a
n
w
p
h
p
)
2
v=\frac{4}{\pi^2}(arctan\frac{w^{gt}}{h^{gt}}-arctan\frac{w^p}{h^p})^2
v=π24(arctanhgtwgt−arctanhpwp)2
这样CIoU loss 就将目标框回归函数应该考虑三个重要几何因素:重叠面积、中心点距离、长宽比全部考虑进去了。
-
DIoU loss
NMS主要是用于anchors的筛选,先看一下一个例子
在上图重叠的摩托车检测中,中间的摩托车因为考虑边界框中心点的位置信息,也可以回归出来。因此在重叠目标的检测中,DIoU loss 的效果优于传统的NMS。
那为什么YOLOv4不使用 CIoU NMS 而不是 DIoU NMS呢?
因为前面讲到的CIoU loss 是在 DIoU loss 的基础上,添加的影响因子,包含ground truth标注框的信息。在训练的时候用于回归。但在测试过程中,并没有ground truth的信息,不用考虑影响因子,因此直接用DIoU loss即可。
总结:
IoU loss: 主要考虑检测框和目标框重叠面积
GIoU loss: 在IoU的基础上,解决边框不重合时的问题
DIoU loss: 在IoU和GIoU的基础上,考虑边界框中心点距离的信息。
CIoU loss: 在DIoU的基础上,考虑边界宽高比的尺度信息。
四、 YOLOV4的结构图
四、Conclusion
集成了很多tricks来提升detector的性能。
Reference
- https://blog.csdn.net/nan355655600/article/details/106246625