CVPR 2020 | 基于深度引导卷积的单目3D目标检测

参考论文：D⁴LCN:Learning Depth-Guided Convolutions for Monocular 3D Object Detection(CVPR2020)

论文、代码地址：在公众号「计算机视觉工坊」，后台回复「D4LCN」，即可直接下载。

参考paddle复现：3D目标检测（单目）D4LCN论文复现（https://aistudio.baidu.com/aistudio/projectoverview/public）

Abstract

单目3D目标检测最大的挑战在于无法得到精确的深度信息,传统的二维卷积算法不适合这项任务,因为它不能捕获局部目标及其尺度信息,而这对三维目标检测至关重要.为了更好地表示三维结构,现有技术通常将二维图像估计的深度图转换为伪激光雷达表示,然后应用现有3D点云的物体检测算法.因此他们的结果在很大程度上取决于估计深度图的精度,从而导致性能不佳.在本文中,作者通过提出一种新的称为深度引导的局部卷积网络(LCN),更改了二维全卷积  (D⁴LCN),其中的filter及其感受野可以从基于图像的深度图中自动学习,使不同图像的不同像素具有不同的filter.克服了传统二维卷积的局限性,缩小了图像表示与三维点云表示的差距.D⁴LCN对于最先进的KITTI的相对改进是9.1%,单目3D检测的SOTA方法.

Introduction

3D目标检测有许多应用,如自动驾驶和机器人技术.LiDAR设备可以获得三维点云,从而获得精确的深度信息.但是,LiDAR高成本和稀疏输出的特点让人们希望寻找到更便宜的替代品,这些替代品的其中之一维单目相机.虽然单目相机引起了人们的广泛关注,但在很大程度上不能够解决3D目标检测问题.实现上述目标的方法通常是分为基于2图像的方法和基于伪激光雷达点的方法两种.基于图像的方法通常利用几何体约束,包括对象形状、地平面和关键点.这些约束条件在损失函数中用不同的