理想汽车开源DreamCar！在moving-froward场景中的3D汽车重建

摘要

自驾行业通常雇用专业艺术家来制作精美的 3D 汽车模型。然而，制作大规模的数字资产成本高昂。由于已经有许多包含大量汽车图像的数据集，我们专注于从这些数据集中重建高质量的 3D 汽车模型。

然而，这些数据集只包含前行场景中汽车的一侧图像。我们尝试使用现有的生成模型提供更多的监督信息，但由于这些模型是在合成数据集上训练的，而不是专门针对汽车的数据集，因此难以在汽车上泛化。此外，在处理野外图像时，由于相机姿态估计的误差较大，重建的 3D 汽车纹理会出现错位。这些限制使得以前的方法难以重建完整的 3D 汽车。

为了解决这些问题，我们提出了一种新方法，名为 DreamCar，能够在给定少量图像甚至单张图像的情况下重建高质量的 3D 汽车。为了使生成模型更具泛化性，我们收集了一个名为 Car360 的汽车数据集，包含超过 5600 辆汽车。

利用这个数据集，我们使生成模型对汽车更加鲁棒。我们使用特定于汽车的生成先验，通过分数蒸馏采样来引导重建。为了进一步补充监督信息，我们利用汽车的几何和外观对称性。最后，我们提出了一种姿态优化方法，通过校正姿态来解决纹理错位问题。大量实验表明，我们的方法在重建高质量 3D 汽车方面显著优于现有方法。

论文链接：

https://arxiv.org/abs/2407.16988

项目主页：

https://xiaobiaodu.github.io/dreamcar-project/

代码链接：

https://github.com/xiaobiaodu/DreamCar

以上是我们提出的方法 DreamCar 在实际应用场景中的效果。

以上是我们提出的方法 DreamCar 在 nuscenes 数据集中重建大量 3D 汽车的效果。

方法

我们提出的方法 DreamCar，通过利用多种关键技术从有限数量的图像中重建高质量的 3D 汽车模型。首先进行图像分割和镜像操作，以创建额外的训练视图，然后使用 Nuscenes 等数据集估算和优化相机姿态。

该方法采用逐步由粗到细的几何重建方法，使用 NeRF、Neus 和 DMTET 等模型，并结合法线和深度图约束以确保精度。纹理优化通过生成模型和 DreamBooth 实现，以获得逼真的结果，并使用 PoseMLP 优化相机姿态以纠正纹理错位。

提出的 Car360 数据集

本研究旨在从有限数量的图像（通常为一到五张）中重建完整的 3D 模型。然而，仅依靠这些监督信息是不够的。因此，我们在方法中集成了最近的大规模 3D 感知扩散模型 Zero-123-XL 的生成先验。

我们发现，由于该模型在大规模合成数据集（如 Objaverse）上训练，而不是专门针对汽车的数据集，因此在实际的汽车主题上难以泛化。在本研究中，我们收集了一个名为 Car360 的汽车数据集，其中包含 5600 辆合成汽车，以增强我们的模型在实际汽车上的鲁棒性。

以上是我们提出的方法 DreamCar 对比现有 SOTA 方法的效果。我们做了多项实验表明 DreamCar 具有很好的重建效果 且优于现有的 SOTA 方法。代码已经开源，欢迎大家 follow！

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

·