理想汽车提出3DRealCar：首个大规模3D真实汽车数据集

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

论文：https://arxiv.org/abs/2406.04875

主页：xiaobiaodu.github.io/3drealcar/

3DRealCar

总览

3D汽车通常用于自动驾驶系统、虚拟/增强现实和游戏中。然而，现有的3D汽车数据集要么是合成的，要么是低质量的，与高质量的真实世界3D汽车数据集存在很大差距，限制了它们在实际场景中的应用。

在本文中，我们提出了首个大规模3D真实汽车数据集，即 3DRealCar 数据集，该数据集具有三个显著特点。(1) 高数量：通过3D扫描仪对 2500 辆汽车进行细致扫描，获得具有真实世界尺寸的汽车图像和点云；(2) 高质量：每辆汽车平均有 200 个密集的、高分辨率的 360 度 RGB-D 视图，可实现高保真3D重建；(3) 高多样性：数据集包含 100 多个品牌的各种汽车，在三种不同的照明条件下采集，包括反光、标准和暗光。此外，我们还为每个实例提供了详细的汽车解析图，以促进汽车解析任务的研究。

可支持的任务

由于我们的数据集提供了 RGB-D 图像、点云、汽车解析图和详细标注，因此我们可以在其中执行各种二维和3D任务。具体来说，我们提供了汽车解析分割标注，这表明我们的数据集可用于汽车检测、分割和解析任务。此外，我们捕获的 RGB-D 图像还支持深度估计任务。由于我们收集的汽车类型多种多样，研究人员可以利用我们的数据集对不同类型的汽车进行领域迁移学习。至于3D任务，我们捕获的密集视图和点云可用于3D重建、3D生成、新视图合成、车辆点云补全和车辆点云解析。有了重建的3D汽车，我们就可以用它们来模拟特殊场景，以训练强大的自动驾驶感知系统。

3D汽车解析  

我们的数据集是首个提供3D汽车解析注释的数据集，用于解析3D空间中的汽车部件。

由于我们为 3DRealCar 数据集中的每个实例提供了二维汽车解析图，因此我们可以将二维解析图提升到3D，并为点云和网格分割每个组件。这些3D汽车解析图的主要目的是对汽车结构进行精确而全面的分析，这对于自动驾驶、汽车设计、汽车编辑和虚拟现实模拟等应用至关重要。通过使用这些详细的3D解析图，开发人员和研究人员可以改进物体识别算法，增强碰撞检测系统。此外，该数据集还有助于训练机器学习模型，以便更好地理解汽车部件的空间关系和物理属性，从而开发出更先进、更可靠的汽车技术。    

重建结果  

我们在数据集中展示了最近最先进的3D重建方法--3DGS的可视化效果。在标准照明条件下，3DGS 能够从我们的数据集中重建出相对高质量的3D汽车。需要注意的是，这种水平的重建质量足以被下游任务所利用和渲染。然而，反光和黑暗条件下的结果并不乐观。因此，我们的 3DRealCar 的这两个部分给最新的 3D 方法带来了两个挑战。

第一个挑战是镜面高光的重建。由于汽车的特殊属性，汽车表面的材料一般都有光泽，这意味着如果汽车暴露在阳光或强光下，就会产生大量的镜面高光。

第二个挑战是黑暗环境下的重建。在黑暗环境中拍摄的训练图像在重建时会丢失大量细节。因此，如何在这两种极端光照条件下获得高质量的重建结果是对最新方法的挑战。

我们希望这些结果能够鼓励更多在恶劣条件下进行3D重建的后续研究。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看