激光雷达lidar+相机camera融合的算法综述
纵观各大榜单KITTI,nuScenes等,lidar+camera等多种方法慢慢向榜单前面移动,精度的不断提升也说明了当前多模态融合有了一定喜人的进步。
本文总结CVPR,ECCV等多种包括 feature-fusion & late-fusion 的算法进行总结。希望可以给对当前领域有兴趣的朋友们一些帮助,也欢迎随时交流~
整体框图
下面思维导图对当前各种融合算法进行了整体的总结和概括:
其中特征融合现阶段主要指在特征层面进行的中融合即 feature-fusion,标红的两种方法为当前经多种实验证明有效的方法:
- 点云点与图像特征图融合;
- 点云点与图像语义分割结果的融合;
决策融合列举了当前SOTA的一种方法进行介绍。
精度对比
可以看到最下面的决策融合算法CLOCs具有纸面上最高的mAP,同样特征融合3D-CVF也是纸面上最好的检测方法,另外未在表单上展现的EPNet也是一个具有很好检测效果的特征融合算法。
实验
为了检测短发与模型的有效性,在2080Ti上进行了训练与检测,得到的效果如下:
CLOCs训练55epoch:
- Car AP@0.70, 0.70, 0.70:
bbox AP:99.33, 93.75, 92.89(2D框)
bev AP:96.51, 92.37, 89.41(鸟瞰图视角)
3d AP:92.74, 82.90, 77.75 (3D框)
aos AP:99.17, 93.29, 92.11(物体旋转角) - Car AP@0.70, 0.50, 0.50:
bbox AP:99.33, 93.75, 92.89
bev AP:99.38, 96.27, 95.56
3d AP:99.55, 96.19, 95.34
aos AP:99.17, 93.29, 92.11
EPNet训练46epoch:
未添加iou branch
- Car AP@0.70, 0.70, 0.70:
bbox AP:98.5846, 94.1345, 92.1288
bev AP:95.8837, 89.0226, 88.4930
3d AP:92.1627, 82.6856, 80.1048
aos AP:98.45, 93.72, 91.52 - Car AP@0.70, 0.50, 0.50:
bbox AP:98.5846, 94.1345, 92.1288
bev AP:98.6033, 94.5425, 94.2854
3d AP:98.5904, 94.4841, 94.1361
aos AP:98.45, 93.72, 91.52
添加iou branch
- Car AP@0.70, 0.70, 0.70:
bbox AP:98.4230, 93.9888, 92.0130
bev AP:95.7430, 88.4292, 88.3442
3d AP:92.5021, 82.4546, 80.2938
aos AP:98.30, 93.59, 91.49 - Car AP@0.70, 0.50, 0.50:
bbox AP:98.4230, 93.9888, 92.0130
bev AP:98.4348, 94.1680, 94.1338
3d AP:98.4253, 94.1063, 93.9804
aos AP:98.30, 93.59, 91.49
博主也对CLOCs进行一定阐述,欢迎移步:https://blog.csdn.net/Oreooooo/article/details/118415278