arXiv-2021
Ge Z, Liu S, Wang F, et al. Yolox: Exceeding yolo series in 2021[J]. arXiv preprint arXiv:2107.08430, 2021.
https://github.com/Megvii-BaseDetection/YOLOX
文章目录
1 Background and Motivation
目标检测新方向,anchor-based to anchor-free,NMS based to NMS free,static label assignment to 各种新的 label assignment
这些技术没有应用在 yolo 家族上,本文把上述目标检测发展的新技术应用在 yolov3 上,提出 yolo X,效果可观
2 Related Work
- anchor free
- NMS free
- label assignment
3 Advantages / Contributions
-
基于 yolov3 提出 yolox
-
公开数据集验证速度精度有提升
-
won the 1st Place on Streaming Perception Challenge (Workshop on Autonomous Driving at CVPR 2021) using a single YOLOX-L model.
4 Method
YOLOX-DarkNet53
4.1 Implementation details
BCE Loss for training cls and obj branch, and IoU Loss for training reg branch.
4.2 decoupled head
采用了 decouple head 的形式,可以明显提升收敛速度,如下图所示
解耦头会收敛更快,精度也会更高,但会增加运算的复杂度
来自 深入浅出Yolo系列之Yolox核心基础完整讲解
定量分析看,提点也很明显
end-to-end YOLO 采用了 NMS-free 的技术,介绍如下
Zhou Q, Yu C. Object detection made simpler by eliminating heuristic NMS[J]. IEEE Transactions on Multimedia, 2023, 25: 9254-9262.
4.3 Strong data augmentation
引入了 Mosaic and MixUp,close it for the last 15 epochs
加了强数据增强后,发现 ImageNet pre-train is no more beneficial,作者都 train from scratch 了
4.4 anchor-free
anchor based 的方法的缺点
- 需要根据数据集先聚类得到 anchor,缺乏泛化性
- 引入了更多的计算量
anchor based 是 3 ∗ ( 20 ∗ 20 + 40 ∗ 40 + 80 ∗ 80 ) ∗ 85 3*(20*20+40*40+80*80)*85 3∗(20∗20+40∗40+80∗80)∗85
anchor free 是 1 ∗ ( 20 ∗ 20 + 40 ∗ 40 + 80 ∗ 80 ) ∗ 85 1*(20*20+40*40+80*80)*85 1∗(20∗20+40∗40+80∗80)∗85
anchor-free,采用的是 FCOS 的那套
Tian Z, Shen C, Chen H, et al. FCOS: A simple and strong anchor-free object detector[J]. IEEE transactions on pattern analysis and machine intelligence, 2020, 44(4): 1922-1933.
center location of each object as the positive sample and pre-define a scale range
4.5 Multi positives
3×3 area as positives, also named “center sampling” in FCOS
4.6 SimOTA
cost
OTA 的简化版本
缺点:slow down the training process. And it is not rare to fall into unstable training
5 Experiments
5.1 Datasets and Metrics
COCO and mAP
5.2 YOLOX-DarkNet53
5.3 Other Backbone
(1)Modified CSPNet in YOLOv5
换成 v5 的主干后,比 v5 猛
(2)Tiny and Nano detectors
迷你版,看看效果
(3)Model size and data augmentation
weaken the augmentation for small models
stronger augmentation is more helpful for large models
5.4 Comparison with the SOTA
6 Conclusion(own)
-
改动还算比较大的,提点也明显
-
小模型弱数据增广,大模型强数据增广
解耦的好处在于:在检测的过程中分类需要的特征和回归所需要的特征不同,所以在 Decoupled Head 中进行解耦处理后学习的过程会变得更加简单。
附录——SimOTA 细节
正负样本分配:初步筛选、SimOTA
初步筛选
a. 根据中心点来判断:寻找anchor_box中心点,落在groundtruth_boxes矩形范围的所有anchors
b.根据目标框来判断:以groundtruth中心点为基准,设置边长为5的正方形,挑选在正方形内的所有锚框。
精细筛选—SimOTA
a.初筛正样本信息提取
b.Loss 函数计算
c.cost 成本计算
d.SimOTA 求解
假设初步筛选从 8400 筛选到只剩 1000, simOTA中,会选 cost 最小的前 k 个 作为正样本
可能出现共用情况,一个正样本分配了多个 GT
选 cost 最小的