本文主要介绍自动驾驶系统感知算法中2D目标检测相关搬运工作
。2D目标检测(下文简称目标检测)是对图像或视频中的目标进行分类和定位的任务。
目标检测发展进程:
1.综述论文
[1] Zaidi S S A, Ansari M S, Aslam A, 等.A Survey of Modern Deep Learning based Object Detection Models[J]. arXiv:2104.11892 [cs, eess], 2021
[2] Zou Z, Shi Z, Guo Y, 等. Object Detection in 20 Years: A Survey[J]. arXiv:1905.05055 [cs], 2019.
1.1.数据集
- PASCAL VOC 07/12
- ILSVRC
- MS-COCO
- Open Image
- Issues of Data Skew/Bias
数据集对比表:
1.2.评价指标
- FPS
- mAP
- mIoU
1.3.目标检测网络
按照是否需要单独的区域建议网络(region proposals),目标检测网络可以分为二阶段目标检测网络和一阶段目标检测网络。二阶段目标检测网络首先从图像中生成大量的region proposals,然后通过对region proposals进行分类,完成目标检测任务。一阶段目标检测网络基于预定义的anchor(anchor-based)或关键点(anchor-free),通过对目标的密集采样端到端地实现对目标的定位和分类,完成目标检测任务。相对于二阶段网络,一阶段网络具有更高的实时性和更简单的设计。
1.3.1.二阶段网络
1. R-CNN
RCNN通过选择性搜索算法(Selective Search)从一组目标候选框中选择可能出现的目标框,并将其resize到固定尺寸的图像送入CNN提取特征,最后将提取到的特征送入SVM分类器,预测目标框是否存在目标,并进行分类。
缺点:对每个候选框进行特征提取,存在大量的特征冗余,导致检测速度慢。
2. SPP-Net
SPPNet提出空间金字塔池化层(SPP),避免了RCNN中resize造成候选框畸变的问题,并以此引入多尺度特征融合提高检测性能,同时对image提取特征,避免特征图的重复计算问题。具体实现中时将SPP插入RCNN中,实现上述改进。
3. Fast R-CNN
Fast R-CNN对RCNN和SPPNet进行改进,通过ROI池化将ROI区域统一为相同尺寸的特征,进而实现分类和回归。
4. Faster R-CNN
Faster R-CNN通过RPN网络生成候选框,提高了检测速度。
5. FPN
FPN通过不同尺度的特征融合,提高了目标检测精度。
6. Cascade RCNN
Cascade RCNN通过训练级联检测器提高IoU阈值,提高目标检测精度。
7. R-FCN
8. Mask R-CNN
9. DetectoRS
1.3.2.一阶段网络
1. YOLOv1
YOLOv1将图像划分为多个网格,通过为每个网格预测边界框和概率,实现目标检测。
2. SSD
SSD通过融合多尺度特征,提高检测精度。
3. YOLOv2 and YOLO9000
YOLOv2对YOLOv1进行改进,并引入anchor,提高检测性能。
4. RetinaNet
RetinaNet通过引入FPN融合不同尺度特征,分析类别不平衡问题提出Focal loss,来提高目标检测性能。
5. YOLOv3
YOLOv3对YOLOv2进行改进,通过融合不同尺度的特征,提高目标检测精度。
6. EfficientDet
7. YOLOv4
YOLOv4通过引入深度学习领域的tricks至YOLOv3,提高目标检测性能。
8. Swin Transformer
9. CornerNet
CornerNet提出了新的目标检测方法,将bbox检测转为关键点(左上角和右下角)检测,
10. CenterNet
CenterNet直接通过检测目标的中心点,实现目标检测任务。
11.FSAF
FSAF通过自动选择特征,实现目标检测任务。
12.FCOS
FCOS是一种基于FCN的逐像素目标检测算法,提出Center ness 中心度的思想。
13.SAPD
SAPD提出两种策略
1.5.轻量级目标检测网络
许多不同的方法在过去已经显示出令人兴奋的结果。利用高效组件和压缩技术,如剪枝([85],[86]),量化([87],[88])、哈希[89]等提高了深度学习模型的效率。使用经过训练的大型网络来训练较小的模型,称为蒸馏[90],也显示了有趣的结果。然而,在本节中,我们将探讨一些高效神经网络设计在边缘设备上实现高性能的突出例子。
1. SqueezeNet
2. MobileNets
3. ShuffleNet
4. MobileNetv2
5. PeleeNet
6. ShuffleNetv2
7. MnasNet
8. MobileNetv3
1.6.性能对比
-
目标检测网络
-
轻量级目标检测网络
2.文献笔记
2.1. WACV 2022
2.2. ICCV 2021
2.3. CVPR 2021
2.4. WACV 2021
2.5. CVPR 2020
2.6. WACV 2020
3.总结
3.1.未来工作
- AutoML
- Lightweight detectors
- Weakly supervised/few shot detection
- Domain transfer
- 3D object detection
- Object detection in video
3.2.改进工作
3.2.1. 特征提取网络
- AlexNet
- VGG
- GoogLeNet/Inception
- ResNets
- ResNeXt
- CSPNet
- EfficientNet
网络结构图: