【3D目标检测】3D Object Detection for Autonomous Driving: A Survey

可乐大牛

已于 2023-03-08 14:19:02 修改

阅读量2.2k

点赞数

分类专栏：论文学习文章标签：其他

于 2022-10-22 22:17:48 首次发布

本文链接：https://blog.csdn.net/qq_44173974/article/details/127466175

版权

论文学习专栏收录该内容

68 篇文章 9 订阅

订阅专栏

概述

这是一篇21年的综述，介绍了3D目标检测背景、传感器以及基于传感器的算法分类及其特点。

细节

背景

3D目标检测的地位：是无人驾驶中感知模块的核心基础
3D目标检测的主要问题：目标检测的核心是定位+分类，分类的问题其实不大，限制算法性能的最主要因素还是定位误差。
3D目标检测中的传感器：3D目标检测中使用的传感器主要可以分为两类，一类是无源传感器（passive sensors ）另一类是有源传感器（active sensors）。这两类中用的最多的就是单目相机和激光雷达了。
单目相机：优点：便宜且适用于很多场景，丰富的颜色和纹理特征；缺点：没有深度信息并且视野有限，容易受到光照条件（夜间）或天气条件（阴雨）的影响
激光雷达:优点：有深度信息，360度视野，受光照影响小，收温度影响大（雪、雾天）；缺点：产生的点云数据存在天生的问题，没有颜色和纹理信息，部署昂贵（估计是75000美元）。
其他传感器：使用的相对偏少，具体特点见下图。
在这里插入图片描述
3D目标检测中的数据：主要是两类，一类是单目相机中得到的RGB图像，另一类是激光雷达中得到的点云。

3D目标检测中的算法分类：按照模态可以分为：基于RGB图像的、基于点云的以及基于RGB图像与点云模态融合的。
bbox的参数表示：主要的表示方法有以下的四种，用的最多的是最后一种，即使用中心点的坐标以及框的尺寸+一个偏航角这种7个参数的表示法。
在这里插入图片描述
整体的分类结果如下：

常用数据集及其评价指标

在这里插入图片描述
上面介绍了很多数据集，但是最常用的是三个：KITTI、nuScenes、Waymo Open。
数据量：KITTI<nuScenes<Waymo Open；
多样性：KITTI中有8个类别50个场景，但是只使用3个类别（汽车、行人、自行车）做评估，并根据2D 边界框的高度、遮挡和截断情况分为三个级别（Easy, Moderate, and Hard）；nuScenes中有23个类别1000个场景，使用10个类别做评估；Waymo Open中有4个类别1150个场景，同样使用3个类别做评估。值得一提的是，后两者都有多样的气候和光照，而前者只有晴天白天。
评价指标：KITTI的下载与评价指标见这里，nuscenes 的评价指标见这里，最后一个数据集我觉得我肯定用不到，就算了吧
评价指标之AP：之前一直没有怎么搞明白AP，现在有点理解了，首先我们规定一个IOU的阈值，根据这个阈值我们就可以导出混淆矩阵，有了混淆矩阵我们就可以计算 $P rec i s i o n 和 R ec a ll$ ，有个这两个值我们就可以绘制PR曲线，AP就是PR曲线下方的面积，但是直接算精确面积计算量会比较大，因此就需要做一个平滑操作，做完之后可以选择计算平滑后的精确面积，也可以将横轴做等分，取 $P rec i s i o n$ 的平均值作为最终的结果。参考：目标检测中的AP，mAP
学位论文基于伪雷达点云的单目３Ｄ目标检测方法研宄对于这一点也有介绍：
在这里插入图片描述
KITTI的评价指标：分别是3D AP，BEV AP以及Average Orientation Similarity (AOS)（3D AP计算3DIOU，而BEV AP计算图像平面上的IOU，最后这个用于偏航角的评价）

基于RGB图像的算法

在这里插入图片描述

效果：准确度相对较低（三种算法中最实惠）
主要的问题：缺少深度信息
研究方向1-结果提升方法：将3D目标检测任务分解为2D目标检测和深度估计，最后通过几何属性和约束将估计结果提升到3D空间。这个方法的基本假设是：可以根据视觉外观凭经验推断相关对象的空间位置。依赖于领域专业知识来设计 3D 表示，并借助先验知识进行模板匹配或几何约束进行恢复
研究方向2-特征提升方法：将2D图像特征转换到3D空间，通过伪激光雷达或学习潜在深度分布

基于点云的算法

在这里插入图片描述

效果：相对更高的准确性和更低的延迟（三种算法中最优秀）
主要问题：缺少点云特征学习的方法，因为点云是无序的（输入点云中点的任意顺序都应该对应相同的结果）、非结构化的（无法直接用CNN处理）、稀疏的（虽然是近密远疏，但是总体稀疏。比如用体素方法处理，但是非空体素在Waymo Open中只有1%，在KITTI中只有3%）
研究方向1-基于体素：将不规则的点云转换成规则的体素（2D或者3D规则网格），然后将其折叠为2D鸟瞰图，接着使用CNN显式特征提取。此时体素的尺寸选择狠重要，放大体素尺寸会损失分辨率降低定位精度，缩小体素尺寸会随着输入分辨率的增加以3次方的速率增加复杂度与内存占用。
研究方向2-基于点：采用pointNet类似的结构或者GNN直接学习点云特征，没有量化操作，保留了点云的原始几何信息。前者一般都会采用ball-query操作，但是这个过程中，检索点的时间占据了运行时间的80%，因为点云的局部性特别差。
研究方向3-基于点体素：融合体素和点的特征提取方法的优势

注：基于体素的方法占据了主流，因为基于体素的硬件很容易实现高效的硬件实现，具有出色的准确性和相对较低的延迟。而基于点的方法很容易保留点云的空间局部结构，但代价是比基于体素的方法花费更长的前馈时间。基于点体素的方法最具有潜力。

基于RGB图像与点云模态融合的算法

在这里插入图片描述

效果：准确性和延迟比不上纯点云的算法，但是比纯图像好（三种算法中最有前景，更适用与现实场景，因为发生故障的时候可以提供备份，不至于系统奔溃。）
主要问题：融合什么（RGB图像和点云）、怎么融合（就是要进行语义对齐，可以在不同的阶段不同的尺度做融合）、什么时候融合（早融合、深度融合、晚融合）
研究方向1-顺序融合：数据流只有一条路径，不同模态的数据只有一个路径依次通过网络。
研究方向2-并行融合：数据流只有多条路径，不同模态数据同时通过网络。这边的话，如果设计得当，一个分支被切断，网络仍可继续工作。根据单一模态数据的融合时机，可以继续分为早融合、深度融合以及晚融合。
早融合:在数据预处理的时候融合，但是由于在低级语义特征的情况下做对齐，会有很大的噪声，故不常使用
深度融合：在中间进行特征融合
晚融合：在每个模态数据处理完毕之后，得到最终结果之前融合
注：效果比不上纯点云的原因：主要还是语义对齐问题。1、点云是3D视图而RGB图像是2D视图；2、图像是密集的网格点而点云是不规则的稀疏点；3、目前的融合方法主要是裁剪和特征图大小变换，这或许不是最佳的。