单目3D目标检测之入门

单目3D目标检测入门

一、单目3D目标检测：

1. 3D目标检测领域有哪些任务和方法？

为了更直观，我画了一个思维导图，点击链接后，注意需要切换一下思维导图状态。

在3D目标检测领域，根据输入信息的不同，大致可分为三类方法。

1. Point Cloud-based Methods （基于点云来做）
2. Multimodal Fusion-based Methods（点云和图像的融合）
3. Monocular/Stereo Image-based Methods（单目/立体图像的方法）

  首先，基于点云的经典方法，比如VoxelNet(2018年)、PointPillars(2019年)、PointRCNN（2019年）等，这类方法都是直接在点云数据上进行特征的提取和RPN操作，将2D目标检测中的网络结构和思想迁移到3D点云中。

  点云和图像的融合方法是当前3D目标检测的主流。比较经典的算法有，2018年的MV3D、Frustum PointNets、2019年的Pseudo-LiDAR、2020年的PointPainting等算法。这里的Pseudo-LiDAR（也叫为激光雷达）这篇文章对后来的单目3D目标检测领域的发展起到了促进的作用。这里使用了双目图像来生成深度图，根据深度图得到点云数据，再进行目标检测任务。

  Stereo Image-based方法中，主要是基于双目图像的3D目标检测，这一领域我不太了解，以后再做补充。单目3D目标检测我是2021年刚接触的，比较出色的单目3D检测方法主要有：Mono3D PLiDAR、AutoShape、MonoRCNN、CaDDN等。而在单目3D目标检测领域，又可细分为三类方法。关于单目3D目标检测的分类翻译自CaDNN这篇文章

• 直接法（Direct Methods）
    所谓直接法就是直接从图像中估计出3D检测框，也无需预测中间的3D场景表示[9,52,4,32]。更进一步的说就是，直接法可以结合2D图像平面和3D空间的几何关系来辅助检测[53,12,40,3]。例如，可以在图像平面上估计出某对象的关键点，以帮助使用已知几何结构构建3D box[33,29]。[M3D-RPN][M3D-RPN: monocular 3D region proposal network for object detection. ICCV, 2019.][3]引入深度感知卷积，它按行划分输入并学习每个区域的no-shared kernels，以学习3D空间中位于相关区域的特定特征。
  可以对场景中的物体进行形状估计，从而理解三维物体的几何形状。形状估计可以从3D CAD模型的标记顶点中被监督[5,24]，或从LiDAR扫描[22]，或直接从输入数据以自我监督的方式[2]。