港科大最新！You Only Label Once：半监督下的点云到图像自适应

作者 | 王汝嘉  编辑 | 汽车人

原文链接：https://zhuanlan.zhihu.com/p/587542491

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【3D目标检测】技术交流群

后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D检测综述！

论文：https://arxiv.org/pdf/2211.09302.pdf

1论文思路：

基于图像的三维目标检测任务要求预测的三维bounding box具有“紧密”投影（也称为长方体），在保持三维空间几何属性（如物理尺寸、两两正交等）的同时，很好地拟合图像上的目标轮廓，这些要求给标注带来了重大挑战。简单地将Lidar Labeled三维方框投影到图像上会导致严重的不对齐，而直接在图像上绘制长方体则无法获得原始的三维信息。在这项工作中，本文提出了一种基于学习的三维框自适应方法，该方法自动调整360°激光雷达三维bounding box的最小参数，以完美地适应全景相机的图像外观。在训练阶段，只需少量的二维方框标注作为指导，本文的网络就可以从激光雷达方框中产生精确的具有三维属性的图像级长方体标注。本文把本文的方法叫做“你只标注一次”(you only label once），意思是在点云上标注一次，自动适应周围所有摄像头。据本文所知，本文是第一个专注于图像级的长方体细化，它很好地平衡了精度和效率，大大减少了精确的长方体标注的标注工作量。在Waymo和Nuscenes公共数据集上的大量实验表明，该方法可以在不需要人工调整的情况下对图像进行人眼级的长方体标注。

2主要贡献：

• 引入碰撞关系解决基于激光雷达bounding box的3D-2D对齐问题，使长方体精化过程以端到端的方式运行。

• 提出了一种训练精化网络的半监督方法，以减少训练过程中对groud truth标注的要求。

• 本文的方法是第一个专注于图像级的长方体自适应。该精化结果可作为基于二维图像的单目三维检测等感知任务的groud truth。

3论文设计：

图3。本文网络的框架。本文使用Faster-RCNN骨干(RESNET50)从输入的2D图像中提取金字塔特征图，并使用3D激光雷达标注作为剪裁相应特征的建议。然后，这些特征被馈送到两个独立的分支，用于精炼的2D boxes 和精炼的3D长方体。2D分支仅用于辅助训练，不会参与最终推断。

图5。左：本文将相机-目标关系划分为八个不同的视图，并通过投影的2D框计算视图。右：投影的2D框和3D视图3之间的对应关系。二维框的x坐标被三维角3、7和角1、5分割。

4实验结果：

图6。Waymo数据集上的精化结果。本文用红色标记细化前的3D边界框，用绿色显示优化后的结果。为了更好地显示精化前后的比较，本文在优化的三维长方体上额外绘制了原始的三维投影。本文还在BEV视图中画出了结果，以表明本文改进的boxes在几何上仍然是合理的。从上到下，本文显示了来自前、左、右、左后和右后摄像头的结果。

5参考

[1] You Only Label Once: 3D Box Adaptation from Point Cloud to Image via Semi-Supervised Learning

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、规划控制、模型部署落地、自动驾驶仿真测试、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！