黎国溥

本文综合整理单目3D目标检测的方法模型，包括：基于几何约束的直接回归方法，基于深度信息的方法，基于点云信息的方法。万字长文，慢慢阅读~ 直接回归方法涉及到模型包括：MonoCon、MonoDLE、MonoFlex、CUPNet、SMOKE等。基于深度信息的方法涉及到模型包括：MF3D、MonoGRNet、D4LCN、MonoPSR等。基于点云信息的方法涉及到模型包括：Pseudolidar、DD3D、CaDDN、MonoDTR等。

LPCG是一种用激光点云指导-单目3D目标检测的方法，通过点云数据生成海量粗略的3D标签，生成过程中不用对点云进行标注；降低3D标签的成本。同时这些海量“粗略的3D标签”位置是准确的，只是尺寸和朝向有些偏差；所以如何通过点云数据，直接生成粗略的3D标签是LPCG论文亮点。用这些海量“粗略的3D标签”，作为伪标签指导单目3D目标检测训练。这种方法可以应用到各种单目3D目标检测模型中，模型精度提升大，太强了~

MonoCon是一个延续CenterNet框架的单目3d检测器，在不依赖dcn的情况下获得了较好的性能，并且融入了辅助学习，提升模型性能。曾经在Kitti 单目3D目标检测上，霸榜了一段时间。MonoCon和MonoDLE很像，在它基础上添加了一些辅助分支检测头，促进网络学习特征的能力。MonoCon = MonoDLE + 辅助学习辅助学习：训练阶段增加一些网络分支，对其计算loss项，而在推理阶段完全忽略掉它们，以期得到更好的特征表示。

MonoDLE作为一个延续CenterNet框架的单目3d检测器，在不依赖dcn的情况下获得了较好的性能，可以作为baseline。论文核心观点，主要包括为三点：2d box中心点与投影下来的3d box中心点，存在不可忽视的差异，优先使用3d box投影下来的中心点。较远目标，会带偏模型训练；在训练时，可以过滤这些过远的物体标签。提出了一种面向 3D IoU 的损失，用于对象的大小估计，不受“定位误差”的影响。

MonoFlex是一种端到端单阶段的单目3D目标检测方法，它优化了被截断物体的3D检测，同时优化了中心点的深度估计，检测速度也比较快。

DD3D是一种端到端单阶段的单目3D目标检测方法，它在训练时用到了点云数据，监督深度图的生成，共享预测深度的特征提取层；推理时不用点云数据了，只需图像数据和相机内参，即可完成3D框的信息预测。这是预训练和共享权重的思路。

CUPNet是基于几何约束和回归方式输出3D框信息，在不依赖dcn的情况下获得了较好的性能。它也是一款两阶段的单目3d检测器，先回归2D框信息，在ROI区域进一步提取特征，生成3D框信息。本文分享单目3D目标检测，CUPNet 模型的论文解读，了解它的设计思路，论文核心观点，模型结构，以及效果和性能。

前言SMOKE是一种用于自动驾驶的实时单目 3D 物体检测器。为什么会注意这边文章呢？是因为这两天发布的百度Apollo 7.0的摄像头障碍物感知，也是基于这个模型改进的；于是令我产生了一些兴趣。论文名称：SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation论文地址：https://arxiv.org/pdf/2002.10111.pdf开源地址：https://github.com/lzccc..

本文分享SMOKE最新的版本的环境搭建，以及模型训练；环境关键库版本：pytorch 1.12.0、CUDA 11.3、cudnn 8.3.2、python 3.7、DCNv2。

本文分享SMOKE的模型推理，和可视化结果。以kitti数据集为例子，对训练完的模型进行推理，并可视化3D框的结果，画到图像中。

本文分享 MonoDLE 的模型训练、模型推理、可视化3D检测结果。

本文分享 MonoCon 的模型训练、模型推理、可视化3D检测结果、以及可视化BEV效果。

本文介绍如何搭建3D目标检测框架，使用docker快速搭建MMDetection3D的开发环境，实现视觉3D目标检测、点云3D目标检测、多模态3D目标检测等等。需要大家提前安装好docker，并且docker版本>= 19.03。

本文分享在DAIR-V2X-V数据集中，将标签转为Kitti格式，并可视化3D检测效果。

本文分享国内场景3D目标检测，公开数据集 DAIR-V2X-V（也称为DAIR-V2X车端）。DAIR-V2X车端3D检测数据集是一个大规模车端多模态数据集，包括：22325帧图像数据、22325帧点云数据、2D&3D标注。基于该数据集，可以进行车端3D目标检测任务研究，例如单目3D检测、点云3D检测和多模态3D检测。

本文介绍在3D目标检测中，理解和使用KITTI 数据集，包括KITTI 的基本情况、下载数据集、标签格式解析、3D框可视化、点云转图像、画BEV鸟瞰图等，并配有实现代码。1、KITTI数据集3D框可视化2、KITTI 3D数据集3、下载数据集4、标签格式5、标定参数解析6、点云数据-->投影到图像7、图像数据-->投影到点云8、可视化图像2D结果、3D结果9、点云3D结果-->图像BEV鸟瞰图结果（坐标系转换）10、绘制BEV鸟瞰图11、BEV鸟瞰图画