MonoDETR: Depth-guided Transformer for Monocular 3D Object Detection论文解读

Unsunshine_Bigboy_?

于 2024-12-07 12:02:11 发布

阅读量648

点赞数 3

文章标签： transformer 目标检测深度学习

本文链接：https://blog.csdn.net/weixin_46872424/article/details/144307584

版权

1. 引言

要解决什么问题，首先，这是一个单目基于DETR的3D检测框架，与其他单目检测框架不同的点在于：①由于是基于DETR的检测框架，不需要多余的NMS后处理操作；②前面的单目3D检测一般是用2D的思想，首先通过2D特征预测物体在图片上的中心点，然后通过聚合中心点周围的特征再预测出3D目标的参数，这样的效果有限；其次另外一种思想是通过对图片深度的预测，通过深度+相机矩阵得到每个像素点3D坐标，然后在3D空间下进行3D物体检测，计算量大。

2. 方法

主要创新点在红色框部分，通过将特征转化为深度特征，然后和Query进行交叉注意力机制计算，使得3D目标检测效果更好。为了更好地辅助backbone出来的特征具有更好的深度信息，在这部分引入了一个深度图的监督，这也是本文的核心创新点，通过深度图的监督，来引导Backbone的特征同时兼具视觉特征和深度特征，从而服务于后续的3D检测任务。