DreamCar：理想开源在moving-froward场景中的3D车辆重建

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『BEV感知』技术交流群

论文作者 | 自动驾驶Daily

编辑 | 自动驾驶之心

Arxiv：https://arxiv.org/abs/2407.16988
Project page: https://xiaobiaodu.github.io/dreamcar-project/
Code: https://github.com/xiaobiaodu/DreamCar

以上是我们提出的方法DreamCar 在实际应用场景中的效果。

摘要

自驾行业通常雇用专业艺术家来制作精美的3D汽车模型。然而，制作大规模的数字资产成本高昂。由于已经有许多包含大量汽车图像的数据集，我们专注于从这些数据集中重建高质量的3D汽车模型。然而，这些数据集只包含前行场景中汽车的一侧图像。我们尝试使用现有的生成模型提供更多的监督信息，但由于这些模型是在合成数据集上训练的，而不是专门针对汽车的数据集，因此难以在汽车上泛化。此外，在处理野外图像时，由于相机姿态估计的误差较大，重建的3D汽车纹理会出现错位。这些限制使得以前的方法难以重建完整的3D汽车。为了解决这些问题，我们提出了一种新方法，名为DreamCar，能够在给定少量图像甚至单张图像的情况下重建高质量的3D汽车。为了使生成模型更具泛化性，我们收集了一个名为Car360的汽车数据集，包含超过5600辆汽车。利用这个数据集，我们使生成模型对汽车更加鲁棒。我们使用特定于汽车的生成先验，通过分数蒸馏采样来引导重建。为了进一步补充监督信息，我们利用汽车的几何和外观对称性。最后，我们提出了一种姿态优化方法，通过校正姿态来解决纹理错位问题。大量实验表明，我们的方法在重建高质量3D汽车方面显著优于现有方法。

以上是我们提出的方法DreamCar 在nuscenes 数据集中重建大量3D汽车的效果。

方法

我们提出的方法DreamCar，通过利用多种关键技术从有限数量的图像中重建高质量的3D汽车模型。首先进行图像分割和镜像操作，以创建额外的训练视图，然后使用Nuscenes等数据集估算和优化相机姿态。该方法采用逐步由粗到细的几何重建方法，使用NeRF、Neus和DMTET等模型，并结合法线和深度图约束以确保精度。纹理优化通过生成模型和DreamBooth实现，以获得逼真的结果，并使用PoseMLP优化相机姿态以纠正纹理错位。

提出的Car360 数据集

本研究旨在从有限数量的图像（通常为一到五张）中重建完整的3D模型。然而，仅依靠这些监督信息是不够的。因此，我们在方法中集成了最近的大规模3D感知扩散模型Zero-123-XL的生成先验。我们发现，由于该模型在大规模合成数据集（如Objaverse）上训练，而不是专门针对汽车的数据集，因此在实际的汽车主题上难以泛化。在本研究中，我们收集了一个名为Car360的汽车数据集，其中包含5600辆合成汽车，以增强我们的模型在实际汽车上的鲁棒性。

以上是我们提出的方法DreamCar 对比现有sota方法的效果。我们做了多项实验表明DreamCar 具有很好的重建效果 且优于现有的sota 方法。代码已经开源，欢迎大家follow！

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵