今年初 YOLO 之父Joseph Redmon宣布推出CV界,引起轩然大波,大家纷纷猜测YOLO是否不会再出v4版,退出历史舞台。
今天,YOLOv4重磅发布,作者为俄罗斯开发者 Alexey Bochkovskiy 和两位中国台湾开发者 Chien-Yao Wang、Hong-Yuan Mark Liao。
YOLOv4 没有理论创新,而是在原有YOLO目标检测架构的基础上增加了近年CNN改进的众多技术,
从数据处理到网络训练再到损失函数,遵行“拿来主义”,加上漂亮的工程实践,打造实现最佳速度与精度平衡的目标检测新基准!
在MS COCO 数据集 实现 43.5% AP(平均精准度) (65.7% AP50 ), 速度也更快了,在Tesla V100 GPU上 ∼65 FPS!
FPS :每秒帧率 Frame Per Second
AP:average precision 平均精准度
上图为YOLOv4与其他SOTA目标检测算法的比较,在精度差不多的情况下YOLOv4比EfficientDet快两倍,而相对于YOLOv3 AP和FPS 分别提升了10%和12%!
1.目标检测模型架构
作者首先对现有目标检测方法进行了总结,无论是one-stage 、two-stage 还是 anchor free 、anchor based,均包含 Input、Backbone 、Neck、Heads(Dense Prediction或者Sparse Prediction)四部分。
目前各部分的主流技术包括:
然后作者对现有目标检测相关技术的进展做了总结,即大礼包“bag of freebies”和特价袋“Bag of specials”。
-
bag of freebies 大礼包 指那些能够提高精度而不增加推断时间的技术。比如数据增广的方法图像几何变换、CutOut、grid mask等,网络正则化的方法DropOut、DropBlock等,类别不平衡的处理方法、难例挖掘方法、损失函数的设计等。
-
bag of specials 特价贷 是指那些增加稍许推断代价,但可以提高模型精度的方法,比如增大模型感受野的SPP、ASPP、RFB等,引入注意力机制Squeeze-and-Excitation (SE) 、Spatial Attention Module (SAM)等 ,特征集成方法SFAM , ASFF , BiFPN等,改进的激活函数Swish、Mish等,或者是后处理方法如soft NMS、DIoU NMS等
02 YOLOv4方法介绍
架构选择:
经过综合考虑计算量和精度,作者最终选择的架构是:CSPDarknet53 作为 backbone, SPP 模块用于增大感受野, PANet 用作 neck, 并仍沿袭 YOLOv3(anchor based) head。
最终 YOLOv4实用的技术:
YOLOv4包括
Backbone:CSPDarknet53 [81]
Neck:SPP [25],PAN [49]
Head:YOLOv3 [63]
YOLO v4 使用:
主干网络的大礼包(BOF):Cutmix和Mosaic数据增强,Dropblock正则化类标签平滑
主干网络的特价袋(Bos):误操作跨阶段部分连接(CSP)、多重剩余连接(MIWRC)
探测器的免费包(BOF):Clou lossCMBN,Dropblock正则化,马赛克数据增强,自我对抗训练,消除网格敏感度,使用多个锚用于单个地面真值,余弦退火调度器[52],最优超参数,随机训练形状
探测器专用包(Bos):误激活PP块、山姆块、泛路径聚合块、DIOU-NMS
03 实验结果
作者在MS COCO 数据集上进行了实验,结果如下:
每一行分别代表不同的GPU计算结果:
-
在主流的SOTA目标检测算法中,YOLOv4实现了最佳的速度和精度的平衡,
-
在精度差不多的情况下,YOLOv4的速度往往是最快的,
-
尤其在FPS超过30的实时算法中,YOLOv4是精度最高的。
因为不同的算法公布时可能在不同的GPU上进行测试,作者根据不同的GPU(Maxwell/Pascal/Volta)分别列出了YOLOv4与其他算法的更详细的比较,即Table 8、9、10,帧率大于等于30的用蓝底标出。
可见YOLOv4 在实时目标检测算法中精度最高,实现了精度和速度的最佳平衡。
04 传送门
论文地址:
https://arxiv.org/pdf/2004.10934v1.pdf
开源地址:
https://github.com/AlexeyAB/darknet
不仅有代码、模型而且提供了详细的训练和测试方法。
(在OpenCV中文网公众号后台回复“YOLOv4”,即可收到论文下载)
虽然YOLOv4在理论上没有创新,但其引人注目的精度速度,承袭YOLO系列的简单易上手的操作体验,必将成为实时目标检测的口碑之作!
终于有人扛起了YOLO的大旗了!