mono3D任务FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection

数据

KITTI

在卡尔斯鲁厄采集的数据，包括雷达（64线束激光雷达）和摄像头（灰色+彩色）。目标为pvb,场景包括农村、城市、高速。3D目标检测任务包含7481 训练图片和7518 测试图片包含80.256 标注目标。同时带有点云信息。数据真值由标注员标注而成。
标注例子

数据分布


难易样本定义

nuscenes

算法

FCOS3D
mono3D比2D检测的难点在于缺少深度信息。
创新点：利用之前的2D检测任务。将3D检测解耦为基于2D检测的多个子任务。

结构。

类似FCOS,加入多个任务头

细节：

• 4个卷积模块为share-head，每个小的target head独立
• anchor-free的方式，类似centernet的方式，对于每一个点预测offset
• 预测中心点的offset以及深度，和方向（0-pi）（用于计算iou），类别方向（区分对向行驶的目标），速度
• 分类loss使用focal loss；回归loss使用smooth l1；方向分类、中心点使用交叉熵loss。loss权重d 为0.2，vx, vy is 0.05其他都是1
• 预测将分类score*center的score在bev视角下做nms
• 对于歧义点使用diatance-based的方法
• 中心点使用高斯分布
• 训练细节。开始depth的loss权重为0.2，后来fintune的时候调整到了1

结果

疑问：

• 直接预测中心点的多个offset?
  文章说参考2D直接预测中心点的4个offset是比较难的，简单的任务是看成2.5D个任务

• 如何在不同级别中分配3D检测目标
  1）对于FOCS2D，通过fpn增加recall。每一个fpn层级预测的size需要满足一定的边界要求（具体来说，每层负责固定的边界目标即可）。FCOS3D参考的这个做法，但是2D目标是通过3D的外接矩形获取的，用于过滤每层无效的目标。
  2）歧义问题。同一个点对应不同的目标。focs2D方法based-area，将点优先分配给小目标（大目标的关注就少了呀）；本文使用点distance-based点方法，优先分配给距离近点目标。可提升1个点的mAP
  3.有哪些有效的提升tricks

  • 更好的backbone、加入DCN、长epoch
  • deep loss、dist-based分配
  • 调deep loss在不同阶段

参考

https://github.com/BigTeacher-777/Awesome-Monocular-3D-detection?tab=readme-ov-file#2023
https://paperswithcode.com/task/monocular-3d-object-detection#datasets