理想汽车即将开源！首个大规模真实3D汽车数据集！

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『资产生成』技术交流群

编辑 | 自动驾驶之心

文章链接：https://arxiv.org/abs/2406.04875
项目主页：https://xiaobiaodu.github.io/3drealcar/

3DRealCar：总揽

3D汽车通常用于自动驾驶系统、虚拟/增强现实和游戏中。然而，现有的3D汽车数据集要么是合成的，要么是低质量的，与高质量的真实世界3D汽车数据集存在很大差距，限制了它们在实际场景中的应用。

在本文中，我们提出了首个大规模3D真实汽车数据集，即 3DRealCar 数据集，该数据集具有三个显著特点。(1) 高数量：通过3D扫描仪对 2500 辆汽车进行细致扫描，获得具有真实世界尺寸的汽车图像和点云；(2) 高质量：每辆汽车平均有 200 个密集的、高分辨率的 360 度 RGB-D 视图，可实现高保真3D重建；(3) 高多样性：数据集包含 100 多个品牌的各种汽车，在三种不同的照明条件下采集，包括反光、标准和暗光。此外，我们还为每个实例提供了详细的汽车解析图，以促进汽车解析任务的研究。

可支持的任务

由于我们的数据集提供了 RGB-D 图像、点云、汽车解析图和详细标注，因此我们可以在其中执行各种二维和3D任务。具体来说，我们提供了汽车解析分割标注，这表明我们的数据集可用于汽车检测、分割和解析任务。此外，我们捕获的 RGB-D 图像还支持深度估计任务。由于我们收集的汽车类型多种多样，研究人员可以利用我们的数据集对不同类型的汽车进行领域迁移学习。至于3D任务，我们捕获的密集视图和点云可用于3D重建、3D生成、新视图合成、车辆点云补全和车辆点云解析。有了重建的3D汽车，我们就可以用它们来模拟特殊场景，以训练强大的自动驾驶感知系统。

3D汽车解析

我们的数据集是首个提供3D汽车解析注释的数据集，用于解析3D空间中的汽车部件。

由于我们为 3DRealCar 数据集中的每个实例提供了二维汽车解析图，因此我们可以将二维解析图提升到3D，并为点云和网格分割每个组件。这些3D汽车解析图的主要目的是对汽车结构进行精确而全面的分析，这对于自动驾驶、汽车设计、汽车编辑和虚拟现实模拟等应用至关重要。通过使用这些详细的3D解析图，开发人员和研究人员可以改进物体识别算法，增强碰撞检测系统。此外，该数据集还有助于训练机器学习模型，以便更好地理解汽车部件的空间关系和物理属性，从而开发出更先进、更可靠的汽车技术。

重建结果

我们在数据集中展示了最近最先进的3D重建方法--3DGS的可视化效果。在标准照明条件下，3DGS 能够从我们的数据集中重建出相对高质量的3D汽车。需要注意的是，这种水平的重建质量足以被下游任务所利用和渲染。然而，反光和黑暗条件下的结果并不乐观。因此，我们的 3DRealCar 的这两个部分给最新的 3D 方法带来了两个挑战。

第一个挑战是镜面高光的重建。由于汽车的特殊属性，汽车表面的材料一般都有光泽，这意味着如果汽车暴露在阳光或强光下，就会产生大量的镜面高光。

第二个挑战是黑暗环境下的重建。在黑暗环境中拍摄的训练图像在重建时会丢失大量细节。因此，如何在这两种极端光照条件下获得高质量的重建结果是对最新方法的挑战。

我们希望这些结果能够鼓励更多在恶劣条件下进行3D重建的后续研究。

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵